CDH4の仮想マシンをCDH4.1にアップデート

本日CDH4.1 (Cloudera’s Distribution including Apache Hadoop) がリリースされました。(*1)
今回のリリースでは

NameNode-HAの編集ログがQuorumベースのストレージ領域に書き込み可能に
Hiveのメジャーバージョンが0.9に! & HiveServer2
OozieのWorkflow builder
…

など（マイナーアップデートとは思えないほどの）機能追加と不具合修正が行われています。詳細については cdh-user-jp@cloudera.org に投稿された内容(*2)などをご覧下さい。
＊＊＊＊
さて本題です。
Apache Hadoopをちょっと試してみたいなと思っても、通常は検証サーバを用意する必要があります。新規にLinuxをインストールしたり、あるいはCygwinの環境用意したりしなければなりません。多くの方はここでやる気が失われてしますようですが、Cloudera社ではHadoopを簡単に検証するために、CDH3、CDH4それぞれを KVM/VMWare/VirtualBoxに対応した仮想マシンのイメージを提供しています。今回はCDH4のVMWare仮想マシンイメージをダウンロードし、CDH4.1にアップデートしてみました。

1) 仮想マシンをダウンロードします。以下はCDH4の例です。(現時点ではCDH4.1用のイメージは提供されていません）

https://ccp.cloudera.com/display/SUPPORT/CDH+Downloads#CDHDownloads-CDH4PackagesandDownloads

2) ダウンロードした仮想マシンのtar.gzファイルを展開し、VMWareから起動します。

仮想マシンイメージにはVMWare Toolsがインストールされていないので、起動前にCD/DVDドライブデバイスを追加しておくと良いでしょう。

3) VMWare Toolsをインストールします

4) 各種サービスは自動で起動されています。jpsを見ると各種サービスが上がりまくっていて圧巻w

5) ブラウザ(Firefox)には各種WebUIへのリンクが設定されています

Namenode

JobTracker

YARN

HBase

Hueもあります(ユーザ名：パスワードはともに”cloudera”)

6) HueからHiveクエリを実行してみます。YARNで実行されているるようですね

BeeswaxによるHive Query

Query実行中

YARNのWebUI

7) CDH4.1へのアップデート

CDH4.1へのアップデートは、ターミナルからrootユーザーで yum update を実行するだけです。

アップデートが終わったら、ついでに日本語グループパッケージ群もインストールしておくと良いでしょう。インストールするには yum groupinstall japanese-support を実行して下さい。