hadoop-logo
ようこそ Tech blogへ!
「これからHadoopを勉強しよう」という方はまず下記のページから

サイトの移行に伴って画像が表示されないなどの不具合が生じています

MapReduceのメモ(デバッグ)

MapReduceのプログラムをデバッグする場合、ログを大量に出力したいことがあります。
このとき、静的にlog4jの設定を変える場合もありますが、手っ取り早く引数から
hadoop jar aaa.jar TestDriver \
-D mapred.map.child.log.level=TRACE \
-D mapred.reduce.child.log.level=TRACE \
input output
のように指定することもできます。(プログラムがToolRunnerを使用している場合のみです)
期待したログがでない場合はコードにデバッグメッセージを埋め込みましょう。(ただ、呼ばれる回数はデータサイズに依存することが多いので、ログでディスクが溢れないように注意して下さい)