YARNのリソース管理の秀逸なスライド

Hadoopのコンポーネントの一つであるYARNは、HadoopやSpark等の分散処理のリソース管理とスケジューリングを行います。そのスケジューラはプラガブルになっており、次の3種類のポリシーが選択でき、それぞれ詳細に設定できます。

  • FIFO(先入れ先出し)・・本番環境には不向き
  • Capacity(キャパシティ)
  • Fair(公平)

しかし、公式ページのドキュメントは非常にわかりにくく、間違った設定で苦労しているユーザーが多いのも事実です。XMLでの記述が難しいこともありますが、サンプルがないのも一つの要因かと。

先日 @shiumachi が公開したYARNのリソース管理のスライドは、図が多いのでかなりわかりやすいです。クラスター上のリソースを効率的に利用する設計(設定)の際に参考になるので、リソース管理をする方は読みましょう!

 

 

Pocket

One thought on “YARNのリソース管理の秀逸なスライド

Leave a Reply

Your email address will not be published. Required fields are marked *

CAPTCHA


日本語が含まれない投稿は無視されますのでご注意ください。(スパム対策)