MRv1におけるフェアスケジューラでのプリエンプション

5日目です
3日目に書いたMapReduceのスケジューラでうち、フェアスケジューラには「プリエンプション」という設定ができます。この設定をすることで、例えば緊急度の高くない長時間実行されているタスクを強制的にKillして、すぐに実行する必要があるジョブのタスク用にスロットを空けることができます。 “MRv1におけるフェアスケジューラでのプリエンプション” の続きを読む

MapReduce v1のスケジューリングアルゴリズム

3日目です。
本日のHadoopアドベントカレンダー2013は@shiumachi氏の「HBase 0.96 で導入される新しいコンパクション「Exploring Compaction」」です。コンパクションも進化しているということがわかりますね。
さて、MapReduceでJobTrackerにジョブを投入すると、スケジューリングアルゴリズムに従って分散実行が行われます。スケジューリングアルゴリズムは、管理者がアルゴリズムを指定することができます。MapReduce version 1では下記の3つのスケジューリングアルゴリズムが用意されています。 “MapReduce v1のスケジューリングアルゴリズム” の続きを読む