Cloudera Enterprise 6 (beta) インストール

Cloudera Enteprise 6 beta

先月検証したまま放置していましたが、Cloudera Enteprise 6 public beta をインストールしたのでメモ書きです。
Cloudera Enterprise 6 のページからβプログラムに参加すると、ダウンロードのリンクなどが送られてきます。日本語版もあるのでそれに従ってインストーラをダウンロードしてください。

検証環境

下記のように、個人用のGoogle Cloud Platform (GCP)の環境に以下の構成で構築しました。（最終的にワーカーノードは５台に増設）

ノードの種類とインスタンス

  • Cloudera Manager 6 x 1　（n1-highmemem-2）
  • マスター x 1　（n1-standard-4）
  • ワーカー x 3　（n1-standard-2）

OS等

  • CentoOS 7
  • firewalld 無効化
    • systemctl stop firewalld
    • systemctl disable firewalld
  • SELinux 無効化
    • setenforce 0
  • （検証環境なのでsshdの設定を変更してrootでのパスワードログインを許容するように変更）
    • /etc/ssh/sshd_config を編集して PasswordAuthentication と PermitRootLogin をyesに
  • psmisc パッケージのインストールが必要
    • sudo yum -y install psmisc

Cloudera Manager 6のインストール

β版のダウンロード手順に従って実行ファイルをダウンロードします。（β版ではパッケージが提供されていないので）
cm6_install_1cm6_install_2cm6_install_3

Cloudera Manager 6のセットアップ

http://master:7180 にアクセスしてインストールを続行します。
cm6_install_4
ウィザードが縦方向に変わったようです
cm6_install_5
CDH6を選択
cm6_install_7その後の手順はCloudera Manager 5 とほとんど同じでした。スクリーンショットはかなり省略しています。
cm6_install_8インストール完了
cm6_install_9cm6_install_10Cloudera Manager 6のUIは、見た目には大きく変わっていないようです。ホストの検査（ホストインスペクタ）の結果は以下のとおりでHadoop3.0になっています。（HBaseは2.0に。こちらの方が変更のインパクトがあるかも）
cm6_install_12cm6_install_13
余談：後日この後ノードを２台追加してワーカー５台構成になりました。
cm6_dn5
 

コメント