hadoop Impala 0.7 リリース
本日、Cloudera Impala beta 0.7 がリリースされました。Q2中に公開される正式版リリース前の最終リリースとのことです。さすがに最終リリース前ということで、機能が盛りだくさんになっています。先日公開されたカラムナファイル...
hadoop
hadoop hadoop [Tips] ドライバでReducerを指定しなかったら？
トレーニングをやっていると、やさしいものから超絶難しいものまでいろんな質問がやってきます。以下、調べたものをシェアします。今回はMapReduce編：Q. reduceの数を0に指定した場合、reducerは呼ばれるのか？A. -D map...
hadoop HDFSのappend機能を使った場合の編集ログ
編集ログとHDFSの追記以前、HDFSのfsimageとeditsの変更 | Tech Blogに書いたように、HDFSのeditsにはトランザクションが記録されます。HDFSのappend(追記)機能を使って書き込んだ場合、editsの内...
hadoop Cloudera Impalaでサッカーのデータを分析
Impalaをビッグデータの分析に使う昨日ツイッターにも書きましたが、サッカーの試合でセンサーからのデータを収集し、ClouderaのImapalaで分析するという例がClouderaのブログに掲載されています。これは DEBS (Dist...
hadoop MapReduceのメモ（デバッグ）
MapReduceのプログラムをデバッグする場合、ログを大量に出力したいことがあります。このとき、静的にlog4jの設定を変える場合もありますが、手っ取り早く引数からhadoop jar aaa.jar TestDriver \-D map...
hadoop MapReduceのメモ
型違いMapReduceをJavaで記述する場合、通常 ドライバーMapperReducerの3点が必要になります。ドライバーで指定したキー／値の型と、Mapper/Reducerで指定した型が違う場合、以下のような例外を吐きます。ビルド時...
hadoop Hadoop誕生７周年
本日はHadoop生誕（？）7周年だそうです。おめでとうございます！＃姪っ子がちょうど今年の春で７歳だったな。7年前って言うとRHEL4u3(*1)の直後、Windows Vista(*2)も登場していない時代。iPhoneもまだこの世に誕...
hadoop hiveでcogroup
Programming Hiveのレビューをしています(2)cogroupのサンプル、中途半端にをコピーして修正しているようんなんだけど、何カ所か中途半端に修正してあって、そのままだと絶対に動かない。Chapter 14 Calculati...
hadoop hiveのGeneralMR
Programming HiveのレビューをしていますO'ReillyのProgramming Hiveは良本だと思いますが、原書は複数の人が書いているためか、動かないサンプルが多いです。その中で、GeneralMRではJavaのコードをス...
hadoop CDH4におけるHBaseのリージョンサイズ
CDH4ではHBASE-5574が適用されているため、HBaseのリージョンサイズは256MBではなく10GBに変更されています。（追記）JIRA（追記2）2013-06-20CDH4.2 (HBase 0.94.2) のchanges.l...