YARN/MapReduce v2のチューニング

Tuning the Cluster for MapReduce v2 (YARN)

良いYARN/MapReduce v2のチューニングドキュメントがあったので共有。

http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_yarn_tuning.html

抜粋すると、24core/256GBのワーカーノードを例にして、HDFSやMapReduce/YARN、HBase、ImpalaやSolr、各種エコシステムのデーモンを実行する場合の

  • それぞれのデーモンへのリソースの配分
  • ノードマネージャーのプロパティと計算式(!)
  • リソースマネージャーのプロパティとサイジングと計算式(!)
  • ゲートウェイとクライアントの設定
  • コンテナのプロパティとサイジングと計算式(!)

比較的シンプルなMapReduce v1と比べると、YARN/MapReduce v2の設定は複雑でわかりにくいですが、この資料はよくまとまっていると思います。チューニングの際にはきっと役立つでしょう。

Pocket

Leave a Reply

Your email address will not be published. Required fields are marked *

CAPTCHA


日本語が含まれない投稿は無視されますのでご注意ください。(スパム対策)