YARN YARNのリソース管理の秀逸なスライド
Hadoopのコンポーネントの一つであるYARNは、HadoopやSpark等の分散処理のリソース管理とスケジューリングを行います。そのスケジューラはプラガブルになっており、次の３種類のポリシーが選択でき、それぞれ詳細に設定できます。
...
YARN
YARN 
kafka YARNとKafkaの短編動画
YARNのチューニングってわかりにくいですよね？このシリーズの動画は割と分かりやすいと思います。同様に、Kafkaって何？って人にはすごく分かりやすい動画。 Tuning YARN Applications Quotas: Cloude...
MapReduce YARN/MapReduce v2のチューニング
Tuning the Cluster for MapReduce v2 (YARN)良いYARN/MapReduce v2のチューニングドキュメントがあったので共有。抜粋すると、24core/256GBのワーカーノードを例にして、HDFSや...
YARN YARNで使うリソース情報はどこから取ってくるのか
YARNでは、pmem（物理メモリ）やvmem（仮想メモリ）、CPUコア数などのリソース設定を行うことができます。特に、リソースを超えた場合はタスクをkillすることもできます。yarn.nodemanager.pmem-check-ena...
YARN YARNのスケジューラアルゴリズム
１９日目です先日MapReduce v1のスケジューラアルゴリズムというブログを書きました。YARN / MRv2 が推奨になりつつなる今、YARNでのスケジューラアルゴリズムも確認しておいた方が良さそうです。※CDH4.3での確認です。C...