hadoop-logo
ようこそ Tech blogへ!
「これからHadoopを勉強しよう」という方はまず下記のページから

サイトの移行に伴って画像が表示されないなどの不具合が生じています

MapReduce

MapReduce

MapReduceの中間データを保持する(2)

昨年の夏、ブログ、MapReduceの中間データを保持する、を書いてからその後全く確認をしていなかったところ、何とCDH4.1.1で動かないことが判明!(当時はCDH4のリリース前だったので、CDH3で検証していた) 結果として原因は些細な...
hadoop

[Tips] ドライバでReducerを指定しなかったら?

トレーニングをやっていると、やさしいものから超絶難しいものまでいろんな質問がやってきます。 以下、調べたものをシェアします。 今回はMapReduce編: Q. reduceの数を0に指定した場合、reducerは呼ばれるのか? A. -D...
hadoop

MapReduceのメモ(デバッグ)

MapReduceのプログラムをデバッグする場合、ログを大量に出力したいことがあります。 このとき、静的にlog4jの設定を変える場合もありますが、手っ取り早く引数から hadoop jar aaa.jar TestDriver \ -D ...
hadoop

MapReduceのメモ

型違い MapReduceをJavaで記述する場合、通常 ドライバー Mapper Reducer の3点が必要になります。ドライバーで指定したキー/値の型と、Mapper/Reducerで指定した型が違う場合、以下のような例外を吐...
hadoop

JobTracker HA

本日 CDH4.2 がリリースされました(リリースノート)が、その中の目玉機能としてあげられるのが JobTracker HA でしょう。 従来 Hadoop には、下記の SPOF (単一障害点)があると言われていました。 1. Name...