CDH4の仮想マシンをCDH4.1にアップデート

本日CDH4.1 (Cloudera's Distribution including Apache Hadoop) がリリースされました。(*1)
今回のリリースでは

  • NameNode-HAの編集ログがQuorumベースのストレージ領域に書き込み可能に
  • Hiveのメジャーバージョンが0.9に! & HiveServer2
  • OozieのWorkflow builder
  • ...

など(マイナーアップデートとは思えないほどの)機能追加と不具合修正が行われています。詳細については cdh-user-jp@cloudera.org に投稿された内容(*2)などをご覧下さい。
****
さて本題です。
Apache Hadoopをちょっと試してみたいなと思っても、通常は検証サーバを用意する必要があります。新規にLinuxをインストールしたり、あるいはCygwinの環境用意したりしなければなりません。多くの方はここでやる気が失われてしますようですが、Cloudera社ではHadoopを簡単に検証するために、CDH3、CDH4それぞれを KVM/VMWare/VirtualBoxに対応した仮想マシンのイメージを提供しています。今回はCDH4のVMWare仮想マシンイメージをダウンロードし、CDH4.1にアップデートしてみました。

1) 仮想マシンをダウンロードします。以下はCDH4の例です。(現時点ではCDH4.1用のイメージは提供されていません)

https://ccp.cloudera.com/display/SUPPORT/CDH+Downloads#CDHDownloads-CDH4PackagesandDownloads

CDH Download

2) ダウンロードした仮想マシンのtar.gzファイルを展開し、VMWareから起動します。

仮想マシンイメージにはVMWare Toolsがインストールされていないので、起動前にCD/DVDドライブデバイスを追加しておくと良いでしょう。
CentOS 5.8 Boot

3) VMWare Toolsをインストールします

VMWare Tools install

4)  各種サービスは自動で起動されています。jpsを見ると各種サービスが上がりまくっていて圧巻w

jps

5) ブラウザ(Firefox)には各種WebUIへのリンクが設定されています

Namenode
NameNode
JobTracker
JobTracker
YARN
YARN

HBase
HBase
Hueもあります(ユーザ名:パスワードはともに"cloudera")
Hue

6) HueからHiveクエリを実行してみます。YARNで実行されているるようですね

BeeswaxによるHive Query
Beeswax
Query実行中
Hive Query
YARNのWebUI
YARN Screenshot

7) CDH4.1へのアップデート

CDH4.1へのアップデートは、ターミナルからrootユーザーで yum update を実行するだけです。
yum update
アップデートが終わったら、ついでに日本語グループパッケージ群もインストールしておくと良いでしょう。インストールするには yum groupinstall japanese-support を実行して下さい。

8) 再起動し、Firefoxを立ち上げます。

先ほど同じようにサービスが実行されていることがわかりますね。下記の画像はHBaseのWebUIですが、CDH4.1になっています。

HBase WebUI (CDH4.1)

9) Hueを開始します。

Hue2は日本語に対応しているので、Firefoxの設定を変更して日本語に変更してHueを実行すると、、、日本語が表示されています!

Hue2 Japanese

10)  OozieのWorkflow Builderを試してみます。

oozieのサービスは開始していないので、ターミナルからrootユーザーで service oozie start と入力して下さい。その後HueからOozie Editor/Dashboardをクリックしてみましょう。以下のような画面が表示されます。
oozie workflow builder
適当に作ったワークフローの例
workflow example

[1] http://www.cloudera.co.jp/blog/cdh4-1-now-released.html
[2] https://groups.google.com/a/cloudera.org/forum/?fromgroups=#!topic/cdh-user-jp/joi7P1wsj9U