Hadoop web UIの認証機能を試す

HadoopでNameNodeやJobTrackerのWebUIを利用するというのは一般的ですが、一般ユーザーには公開したくない場合もあります。設定方法についての質問があったので、CDH3の検証環境を作って試してみました。

まずその前に:

HadoopのHDFS、MapReduceにはそれぞれWebUIの機能が備わっており、下記のポート番号にアクセスすることで、それぞれ情報の収集等が可能です。

  • NameNode: http://<NameNode address>:50070
  • JobTracker: http://<JobTracker address>:50030
  • ※DataNode, TaskTrackerは割愛

WebUIの認証を試す

ClouderaのサイトからCDH3のドキュメントを見ていたところ、「Authentication for Hadoop HTTP web-consoles」という記事を発見。
http://archive.cloudera.com/cdh/3/hadoop/HttpAuthentication.html
(続きを読む)

Posted in Uncategorized