MapReduceのメモ(デバッグ)

MapReduceのプログラムをデバッグする場合、ログを大量に出力したいことがあります。
このとき、静的にlog4jの設定を変える場合もありますが、手っ取り早く引数から
hadoop jar aaa.jar TestDriver \
-D mapred.map.child.log.level=TRACE \
-D mapred.reduce.child.log.level=TRACE \
input output
のように指定することもできます。(プログラムがToolRunnerを使用している場合のみです)
期待したログがでない場合はコードにデバッグメッセージを埋め込みましょう。(ただ、呼ばれる回数はデータサイズに依存することが多いので、ログでディスクが溢れないように注意して下さい)