hadoop-logo
ようこそ Tech blogへ!
「これからHadoopを勉強しよう」という方はまず下記のページから

サイトの移行に伴って画像が表示されないなどの不具合が生じています

Hadoopを10分で試す(番外編) Cloudera Manager 5 ベータ環境を簡単に試す(前編)

**この記事の内容は若干古くなっています。まとめページもご覧下さい**
16日目です。(土日は基本的に休み)
以前にCloudera Demo VMを使った「Hadoopを10分で試す」というブログシリーズを書きましたが、今回はその環境をCDH5 /Cloudera Manager 5にしてみるという企画です。
Cloudera社は、Cloudera のディストリビューションであるCDHと管理ツールであるCloudera Manager を簡単に評価するための仮想マシンイメージを用意しています(ダウンロード)。しかし、現時点でCDH5 beta1 / Cloudera Manager 5 beta用のイメージは提供されていません。いち早く試してみたいのがエンジニアの性。でも環境を用意するのが面倒だなぁという方のために、Demo VMの仮想マシンをCDH5/Cloudera Manager 5(共にベータ環境)にアップデートする方法を紹介します。

最新のDemo VMをダウンロード

現時点でダウンロードできる仮想マシンのイメージは、CDH4.3、Cloudeera Manager 4.6、Cloudera Impala 1.0.1です。ちょっと古いですね。
20131216quickstartまずはこのイメージをダウンロードして、仮想マシンを起動します。手順が不明な方はまとめ記事などを参考にして下さい。
仮想マシンが起動したら、ターミナルを開いてまずはCloudera Managerのyumのレポジトリを変更しましょう。修正後のファイルは下記の通りです。cm4がCloudera Manager 4.Xのレポジトリなので、cm5のレポジトリを追加します(下記では既存のレポジトリを残し、別の名前に変更しました)

yumレポジトリの更新

[root@localhost ~]# cat /etc/yum.repos.d/cloudera-manager.repo
[cloudera-manager4]
name=Cloudera Manager, Version 4
baseurl=http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/4/
gpgkey=http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera
gpgcheck = 1
enabled = 0
[cloudera-manager]
# Packages for Cloudera Manager, Version 5, on RedHat or CentOS 6 x86_64
name=Cloudera Manager
baseurl=http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5/
gpgkey = http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera
gpgcheck = 1

日本語パッケージの追加

前回同様Demo VMには日本語フォントなどが入っていないので、前回同様日本語環境用のパッケージを追加します。
[cloudera@localhost ~]$ sudo yum -y groupinstall japanese-support
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
* base: ftp.iij.ad.jp
* epel: ftp.kddilabs.jp
* extras: ftp.iij.ad.jp
* updates: ftp.iij.ad.jp
Setting up Group Process
Checking for new repos for mirrors
Package poppler-data-0.4.0-1.el6.noarch already installed and latest version
Resolving Dependencies
–> Running transaction check
—> Package ibus-anthy.x86_64 0:1.2.1-3.el6 will be installed
–> Processing Dependency: ibus >= 1.2.0.20100111 for package:
ibus-anthy-1.2.1-3.el6.x86_64
–> Processing Dependency: kasumi for package: ibus-anthy-1.2.1-3.el6.x86_64
–> Processing Dependency: anthy for package: ibus-anthy-1.2.1-3.el6.x86_64
–> Processing Dependency: libanthydic.so.0()(64bit) for package:
ibus-anthy-1.2.1-3.el6.x86_64
–> Processing Dependency: libanthy.so.0()(64bit) for package:
ibus-anthy-1.2.1-3.el6.x86_64
—> Package ipa-gothic-fonts.noarch 0:003.02-4.2.el6 will be installed
:
:
ibus-gtk.x86_64 0:1.3.4-6.el6
ibus-libs.x86_64 0:1.3.4-6.el6
im-chooser.x86_64 0:1.3.1-3.el6
imsettings.x86_64 0:0.108.0-3.6.el6
imsettings-libs.x86_64 0:0.108.0-3.6.el6
kasumi.x86_64 0:2.5-1.1.el6
libgxim.x86_64 0:0.3.3-3.1.el6
notify-python.x86_64 0:0.1.1-10.el6
pyxdg.noarch 0:0.18-1.el6
vlgothic-fonts-common.noarch 0:20091202-2.el6
Complete!
[cloudera@localhost ~]$

アップグレード

さぁ、いよいよCloudera Manager 5 beta環境にアップグレードします。

[root@localhost ~]# yum -y update cloudera-manager*
(しばらく待ちます)
Updated:
cloudera-manager-agent.x86_64 0:5.0.0-0.cm5b1.p0.77.el6
cloudera-manager-daemons.x86_64 0:5.0.0-0.cm5b1.p0.77.el6
cloudera-manager-server.x86_64 0:5.0.0-0.cm5b1.p0.77.el6
cloudera-manager-server-db.x86_64 0:5.0.0-0.cm5b1.p0.77.el6
Complete!

無事にアップデートされました。再起動します。
再起動すると、いつもの(?)画面が表示されます。
20131212193204 20131212193211
ユーザー、パスワード共に cloudera でログインしましょう。以下の画面が表示されるので、今回はStandardを選択しましょう(あるいは60日間Trialでも良いかもしれませんね)
20131212193228
おめでとうございます!うまくいきました!
20131212193243続いてホストをアップグレードしましょう。
※このあたりの画面が日本語になっていないのは、おそらく日本語にする設定を忘れて作業していたから、、です。
20131212193252 20131212193305 20131212193355相当時間がかかりますが、しばらく放置しておきましょう。
はい、うまくいきました。
20131213084354 20131213084403
ホストを調査しています。アップグレード後の情報です。(CDHは4.3のままですね)
20131213084419 20131213084431 20131213084443もう少しいくつかの手順を踏んで、、、
20131213084452 20131213084503 20131213084530 20131213084538これでめでたくCloudera Manager 5 betaの環境になりました。一応バージョンを確認しておきましょう。
20131213084628忘れないように、Firefoxの言語設定を日本語にしておきます(やはり忘れていた)。日本語にしてトップページを表示すると、以下の画面が表示されました。
20131213085027
チャートがうまく表示されていなかったので、マネージメントサービスを起動します。
20131213085050 20131213085102 20131213085243これでまずは大丈夫なようです。日本語でもバージョン情報を表示。
20131213085331#象のロゴ。。。(笑

いくつかの画面のスクリーンショット

20131213085516 20131213085530 20131213085546 20131213085620ところが(当然ですが)、アップグレードしたのはCloudera Managerだけなので、CDHのバージョンは4.3です。
続いてCDHをアップグレード、、と思いましたが、長文になったので今日はこの辺で。

コメント