YARNのリソース管理の秀逸なスライド

Hadoopのコンポーネントの一つであるYARNは、HadoopやSpark等の分散処理のリソース管理とスケジューリングを行います。そのスケジューラはプラガブルになっており、次の3種類のポリシーが選択でき、それぞれ詳細に設定できます。

  • FIFO(先入れ先出し)・・本番環境には不向き
  • Capacity(キャパシティ)
  • Fair(フェア:公平)

しかし、公式ページのドキュメントは非常にわかりにくく、間違った設定で苦労しているユーザーが多いのも事実です。XMLでの記述が難しいこともありますが、サンプルがないのも一つの要因かと。
先日 @shiumachi が公開したYARNのリソース管理のスライドは、図が多いのでかなりわかりやすいです。クラスター上のリソースを効率的に利用する設計(設定)の際に参考になるので、リソース管理をする方は読みましょう!


 
 

“YARNのリソース管理の秀逸なスライド” への1件の返信

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です