Cloudera Impala 1.2でHiveのUDFを試す

Cloudera Impala 1.2リリース!

Cloudera 5 (CDH5, Cloudera Manager 5)のアナウンスの陰に隠れて、Cloudera Impala 1.2が公開されています。このリリースで、ついに「ユーザー定義関数(UDF)、ユーザー定義集約関数(UDAF)に対応!(祝)」しました!

早速試してみようと、Mavenをインストールし、Hive0.11用のUDFをビルドするまではうまくいったんですが、なぜかHiveでUDFを実行するのがうまくいかず、試行錯誤の末断念。諦めて既存のHive UDFのjarファイルにある定義関数を試すことにしました。以下手順です。(基本的にはドキュメントに沿って試しただけです) (続きを読む)

CDH5 beta1を速攻で試す!

CDH5 beta1が公開された!!!!

ClouderaのEnterprise Data Hubの核とも言えるCloudera 5(CDH5とCloudera Manager5)のうちのCDH5。本日公開となったCDH5 beta1がClouderaのリポジトリに上がっていたので、速攻でインストールしてみました。
雑感ですが、つい2週間前にApache Hadoop 2.2がGAになったばかりで、Hive 0.12、Pig 0.12、HBase 0.96、、、とメジャーバージョンのリリースラッシュだったので、現時点でCDH5がベータ1として公開されているのはある意味当然かなと。。(そんな短期間でGAのリリースをするとしたら品質下がるし、テストもできてないでしょうし、サポートもできないですよ、、、、)

なお、ベータ1にはApache Hadoop 2.2は含まれていましたが、Hive、Pigは0.11、HBaseは0.95.2でした。 (続きを読む)

CDHとApache Spark

CDH(Cloudera’s Distribution including Apache Hadoop)にApache Sparkが仲間入り

本日Clouderaから公開されたプレスリリース(英語)によると、ClouderaとDataBricksがパートナー提携し、CDHにApache Sparkがサポートされるようになるとのことです。

更新)日本語のプレスリリースが出ています。

Cloudera、新たなパートナープログラムCloudera Connect:Innovatorsを発表 〜ハイスピードデータアナリティクスのためDatabricks社とタイアップし、Sparkをサポート〜

Apache SparkはMapReduceを使用せずに分散処理を行う仕組みです。詳しい資料(Spark/Shark)が @oza_x86さんから公開されています。
この資料をご覧になれば、下記は読む必要ありません、、

(続きを読む)

Cloudera Impalaの電子書籍がタダでダウンロードできる

O’Reillyから Cloudera Impala の電子書籍が公開されました!

来週 Strata + Hadoop World 2013 に合わせての公開だと思いますが、無償でダウンロードできますので、興味がある方はいかがでしょう?

英語ですが30ページほど。アーキテクチャーなども記載されています。表紙は象とインパラが並んでいます。 (続きを読む)

Hueの日本語ブログページ登場

Hueの日本語ブログページ公開!

先日、Hueを開発しているエンジニアのRomainが旅行で来日し、半日ぐらいオフィスに寄ってくれました。(台風でしたが、、)。素晴らしく優秀、かつ気さくなエンジニアでした。しかし、Clouderaのエンジニアは優秀で良い人が多いな、、。

で、その時に、Hueの今後のロードマップ(これはかなりイケてる。相当期待)を聞いたりと貴重な時間を過ごすことができたのですが、Hueのブログページがフランス語などに対応していると言う話を聞き、どうせなら日本語でもやろうと提案して、めでたく昨日公開することができました。 (続きを読む)

Cloudera World Tokyo 2013 開催!

Cloudera World Tokyo 2013 〜Hadoopの祭典、新しい価値の創造〜、開催

2013年11月7日(木)に目黒雅叙園で開催される予定の「Cloudera World Tokyo 2013」、Hadoopのみならず、ビッグデータに関心のある方、経営層、開発者、データサイエンティストなど、幅広い方を対象に実施される予定です。

昨年は六本木のミッドタウンで開催され、約600名という規模でした。今年はさらにパワーアップ。午後は30セッションものトラックが用意されています。 (続きを読む)

そして、Pig 0.12もリリース

Pigもリリースされていました。リリースラッシュですね。

http://ftp.jaist.ac.jp/pub/apache/pig/pig-0.12.0/RELEASE_NOTES.txt

This release include several new features such as ASSERT operator, Streaming UDF, new AvroStorage, IN/CASE operator, BigInteger/BigDecimal data type, support for Windows, and more, see a more complete list in CHANGES.txt.

祝!HBase 0.96 リリース

先週からHive 0.12Hadoop 2.2.0 GAと公開が続いていますが、先週末に HBase 0.96も公開されました。

主なアップデートはリリースノートにチケット一覧が掲載されています。しかし、チケットが多すぎて網羅しにくいので、下記にリリースメールを引用します。

私感ですが、興味深い点は以下の通り。 (続きを読む)