Hadoopで使っているポート番号の確認、設定

Cloudera Manager Advent Calendar 2015の2日目です
Apache Hadoop、やエコシステムではさまざまなポートを使用してネットワーク通信を行います。それぞれ別のプロジェクトで開発されているので、横断的にポート番号の確認をしたい場合、プロパティを調べるのは結構面倒です。
そんな時に役立つページが下記のリンクで、例えばCDH5で利用しているポート番号の一覧を見ることができます。
http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/cdh_ig_ports_cdh5.html
#Googleなどで「CDH5 ports」というキーワードで検索すれば(おそらく)ヒットするので便利ですよ。

Cloudera Managerによるポート番号の一覧、設定

さて本題です。
Cloudera Managerにはポート番号を一覧、変更できるメニューが用意されています。以前のバージョンのCloudera Managerでは(比較的)わかりにくい場所に用意されていましたが、新しいバージョンでは使いやすくなっています。

Cloudera Manager 5.5

ホームから「設定」の右側の▼をクリックします。
CM55_home「ポート設定」のメニューを選択します。
CM55_menuこれだけです。以下のように、ポート番号の一覧(と設定)、設定するためのプロパティが表示されます。(スクリーンショットの都合上、全てのポートは表示されていません)
変更して保存することも可能です。
CM55_ports右側の「?」をクリックすると、日本語で説明も表示されます。日本人にはありがたいですね!CM55_ports_descちなみにApache Hadoopのプロパティの説明はこんな感じなので、比較すればわかりやすさは一目瞭然。
hdfs-site話を戻すと、設定のメニューからはポート番号以外にも便利な設定があります。

設定の問題の一覧

CM55_config_problem

デフォルト以外のプロパティ値

CM55_non_default

Cloudera Manager 5.3

古いバージョンのCloudera Managerを使っている場合、ホーム画面にはメニューが用意されていません。ポート番号の設定画面を表示するには、以下の手順からどうぞ。
クラスタ名をクリック
CM53_home「設定」をクリック。※日本語になっていませんね。
CM53_ports表示
CM53_ports_lists少しずつ使いやすいように改善されていますね。
明日はfrkoutさんの予定です。
追記:ポート番号一覧他、新しいページ

コメント