hadoop MapReduceのメモ（デバッグ）
MapReduceのプログラムをデバッグする場合、ログを大量に出力したいことがあります。このとき、静的にlog4jの設定を変える場合もありますが、手っ取り早く引数からhadoop jar aaa.jar TestDriver \-D map...
hadoop hadoop MapReduceのメモ
型違いMapReduceをJavaで記述する場合、通常 ドライバーMapperReducerの3点が必要になります。ドライバーで指定したキー／値の型と、Mapper/Reducerで指定した型が違う場合、以下のような例外を吐きます。ビルド時...
hadoop Hadoop誕生７周年
本日はHadoop生誕（？）7周年だそうです。おめでとうございます！＃姪っ子がちょうど今年の春で７歳だったな。7年前って言うとRHEL4u3(*1)の直後、Windows Vista(*2)も登場していない時代。iPhoneもまだこの世に誕...
hadoop hiveでcogroup
Programming Hiveのレビューをしています(2)cogroupのサンプル、中途半端にをコピーして修正しているようんなんだけど、何カ所か中途半端に修正してあって、そのままだと絶対に動かない。Chapter 14 Calculati...
hadoop hiveのGeneralMR
Programming HiveのレビューをしていますO'ReillyのProgramming Hiveは良本だと思いますが、原書は複数の人が書いているためか、動かないサンプルが多いです。その中で、GeneralMRではJavaのコードをス...
hadoop CDH4におけるHBaseのリージョンサイズ
CDH4ではHBASE-5574が適用されているため、HBaseのリージョンサイズは256MBではなく10GBに変更されています。（追記）JIRA（追記2）2013-06-20CDH4.2 (HBase 0.94.2) のchanges.l...
hadoop HBase 0.94 での ResionServer Queue dump 機能
CDH4.2ではHBaseのバージョンが0.92.1->0.94.2へと変更になっています。主な変更点はを参照して下さい。今回はちょっとした機能についてご紹介します。 Resion Server Queue dump リージョンサーバではコ...
hadoop JobTracker HA
本日 CDH4.2 がリリースされました（リリースノート）が、その中の目玉機能としてあげられるのがJobTracker HAでしょう。従来 Hadoop には、下記の SPOF （単一障害点）があると言われていました。1. NameNode...
hadoop 続）Cloudera Impala 情報 (15)
Impala情報 2013/2/26版ニュース HUGで発表されたImpalaのスライド 2013/1/30版 Inside Cloudera Impala: Runtime Code Generation：Impalaの実行時コード生成に...
hadoop HDFSのfsimageとeditsの変更
HadoopのHDFSでは、NameNodeと呼ばれるノードがメタデータをディスク上に記録します。Hadoopのバージョンが上がりこれらのファイル名（と意味合い）が変更されていますが、象本3版（英語）にも反映されていません。CDH3とCDH...