YARNのリソース管理の秀逸なスライド

YARN

Hadoopのコンポーネントの一つであるYARNは、HadoopやSpark等の分散処理のリソース管理とスケジューリングを行います。そのスケジューラはプラガブルになっており、次の3種類のポリシーが選択でき、それぞれ詳細に設定できます。

  • FIFO(先入れ先出し)・・本番環境には不向き
  • Capacity(キャパシティ)
  • Fair(フェア:公平)

しかし、公式ページのドキュメントは非常にわかりにくく、間違った設定で苦労しているユーザーが多いのも事実です。XMLでの記述が難しいこともありますが、サンプルがないのも一つの要因かと。
先日 @shiumachi が公開したYARNのリソース管理のスライドは、図が多いのでかなりわかりやすいです。クラスター上のリソースを効率的に利用する設計(設定)の際に参考になるので、リソース管理をする方は読みましょう!

コメント

  1. kernel023 kawasaki より:

    URLが変更になったみたいです。
    https://twitter.com/shiumachi/status/1022375590387580928