Cloudera ManagerでHDFSのフェデレーション

過去に「高可用性でフェデレーションなHDFS」というブログを書きました。

一般的なHDFSの構成

一般的にHadoopのクラスタでは、ひとつのネームノード(あるいは高可用性にする)がクラスタ全てのデータノードを管理します。

federation-background※Hadoopのドキュメントより引用 (続きを読む)

高可用性でフェデレーションなHDFS

HDFS-HA with federation

高可用性HDFS(High Availability HDFS)の情報はたくさん公開されていますが、フェデレーションと組み合わせた設定についての情報は非常に少ないようです。
手元の環境で構築したので、設定をメモ代わりに残しておきます。

(続きを読む)