2013-04

hadoop

Impala 0.7 リリース

本日、Cloudera Impala beta 0.7 がリリースされました。 Q2中に公開される正式版リリース前の最終リリースとのことです。 さすがに最終リリース前ということで、機能が盛りだくさんになっています。先日公開されたカラムナファ...
hadoop

[Tips] ドライバでReducerを指定しなかったら?

トレーニングをやっていると、やさしいものから超絶難しいものまでいろんな質問がやってきます。 以下、調べたものをシェアします。 今回はMapReduce編: Q. reduceの数を0に指定した場合、reducerは呼ばれるのか? A. -D...
hadoop

HDFSのappend機能を使った場合の編集ログ

編集ログとHDFSの追記 以前、HDFSのfsimageとeditsの変更 | Tech Blogに書いたように、HDFSのeditsにはトランザクションが記録されます。 HDFSのappend(追記)機能を使って書き込んだ場合、edits...
hadoop

Cloudera Impalaでサッカーのデータを分析

Impalaをビッグデータの分析に使う 昨日ツイッターにも書きましたが、サッカーの試合でセンサーからのデータを収集し、ClouderaのImapalaで分析するという例がClouderaのブログに掲載されています。 これは DEBS (Di...
hadoop

MapReduceのメモ(デバッグ)

MapReduceのプログラムをデバッグする場合、ログを大量に出力したいことがあります。 このとき、静的にlog4jの設定を変える場合もありますが、手っ取り早く引数から hadoop jar aaa.jar TestDriver \ -D ...
hadoop

MapReduceのメモ

型違い MapReduceをJavaで記述する場合、通常 ドライバー Mapper Reducer の3点が必要になります。ドライバーで指定したキー/値の型と、Mapper/Reducerで指定した型が違う場合、以下のような例外を吐...
hadoop

Hadoop誕生7周年

本日はHadoop生誕(?)7周年だそうです。おめでとうございます! #姪っ子がちょうど今年の春で7歳だったな。 7年前って言うとRHEL4u3(*1)の直後、Windows Vista(*2)も登場していない時代。iPhoneもまだこ...