Tuning the Cluster for MapReduce v2 (YARN)
良いYARN/MapReduce v2のチューニングドキュメントがあったので共有。
http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_yarn_tuning.html
抜粋すると、24core/256GBのワーカーノードを例にして、HDFSやMapReduce/YARN、HBase、ImpalaやSolr、各種エコシステムのデーモンを実行する場合の
- それぞれのデーモンへのリソースの配分
- ノードマネージャーのプロパティと計算式（！）
- リソースマネージャーのプロパティとサイジングと計算式（！）
- ゲートウェイとクライアントの設定
- コンテナのプロパティとサイジングと計算式（！）
比較的シンプルなMapReduce v1と比べると、YARN/MapReduce v2の設定は複雑でわかりにくいですが、この資料はよくまとまっていると思います。チューニングの際にはきっと役立つでしょう。
コメント