YARN

YARN

YARNのリソース管理の秀逸なスライド

Hadoopのコンポーネントの一つであるYARNは、HadoopやSpark等の分散処理のリソース管理とスケジューリングを行います。そのスケジューラはプラガブルになっており、次の3種類のポリシーが選択でき、それぞれ詳細に設定できます。 ...
kafka

YARNとKafkaの短編動画

YARNのチューニングってわかりにくいですよね?このシリーズの動画は割と分かりやすいと思います。同様に、Kafkaって何?って人にはすごく分かりやすい動画。 Tuning YARN Applications Quotas: C...
MapReduce

YARN/MapReduce v2のチューニング

Tuning the Cluster for MapReduce v2 (YARN) 良いYARN/MapReduce v2のチューニングドキュメントがあったので共有。 抜粋すると、24core/256GBのワーカーノードを例にして、HD...
YARN

YARNで使うリソース情報はどこから取ってくるのか

YARNでは、pmem(物理メモリ)やvmem(仮想メモリ)、CPUコア数などのリソース設定を行うことができます。特に、リソースを超えた場合はタスクをkillすることもできます。 yarn.nodemanager.pmem-check-en...
YARN

YARNのスケジューラアルゴリズム

19日目です 先日MapReduce v1のスケジューラアルゴリズムというブログを書きました。YARN / MRv2 が推奨になりつつなる今、YARNでのスケジューラアルゴリズムも確認しておいた方が良さそうです。 ※CDH4.3での確認です...