Cloudera Manager 5.3にアップデート

Hadoop関連(全部俺) Advent Calendar 2014: 24日目の記事です
#本日用に準備していたブログの仕込みが間に合わないため、明日にまわします
昨日CDHを5.3.0にアップデートしていたのですが、Cloudera Managerは5.2のままだったので、先ほど5.3にアップデートしました。簡単に手順をまとめてみました(。
手順はドキュメントにかなり詳しく書かれています。更新する前に読んだ方がいいでしょう。英語だから読むのが面倒だとか、いままで大丈夫だったから、多分なんとかなるはず(!)というのは危険です[*1]
http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cm_ag_upgrade_cm5.html?scroll=cmig_topic_9_4

Cloudear Manager パッケージの更新

Cloudera quickstart VMはRPMを使ってセットアップされているので、手順に従いyumで更新します。たまたまrootとして作業をしていたので、sudoは使用していません。
サービスを停止し、yum updateを実行しました。
[shell]
# sudo service cloudera-scm-server stop
Stopping cloudera-scm-server: [ OK ]
# sudo service cloudera-scm-agent stop
Stopping cloudera-scm-agent: [ OK ]
# sudo yum clean all
Loaded plugins: fastestmirror, security
Cleaning repos: base cloudera-cdh5 cloudera-gplextras5 cloudera-manager epel
: extras updates vmware-tools
Cleaning up Everything
Cleaning up list of fastest mirrors
# yum upgrade 'cloudera-*'
Loaded plugins: fastestmirror, security
Determining fastest mirrors
epel/metalink | 5.9 kB 00:00
* base: www.ftp.ne.jp
* epel: ftp.iij.ad.jp
* extras: www.ftp.ne.jp
* updates: www.ftp.ne.jp
base | 3.7 kB 00:00
base/primary_db | 4.6 MB 00:02
cloudera-cdh5 | 951 B 00:00
 (略)
Dependencies Resolved
================================================================================
Package Arch Version Repository Size
================================================================================
Updating:
cloudera-manager-agent x86_64 5.3.0-1.cm530.p0.166.el6 cloudera-manager 3.8 M
cloudera-manager-daemons
x86_64 5.3.0-1.cm530.p0.166.el6 cloudera-manager 476 M
cloudera-manager-server x86_64 5.3.0-1.cm530.p0.166.el6 cloudera-manager 7.6 k
Transaction Summary
================================================================================
Upgrade 3 Package(s)
Total download size: 480 M
Is this ok [y/N]: y
Downloading Packages:
(1/3): cloudera-manager-agent-5.3.0-1.cm530.p0.166.el6.x | 3.8 MB 00:01
(2/3): cloudera-manager-daemons-5.3.0-1.cm530.p0.166.el6 | 476 MB 01:43
(3/3): cloudera-manager-server-5.3.0-1.cm530.p0.166.el6. | 7.6 kB 00:00
--------------------------------------------------------------------------------
Total 4.6 MB/s | 480 MB 01:44
Running rpm_check_debug
Running Transaction Test
Transaction Test Succeeded
Running Transaction
Updating : cloudera-manager-daemons-5.3.0-1.cm530.p0.166.el6.x86_64 1/6
Updating : cloudera-manager-agent-5.3.0-1.cm530.p0.166.el6.x86_64 2/6
Updating : cloudera-manager-server-5.3.0-1.cm530.p0.166.el6.x86_64 3/6
Cleanup : cloudera-manager-server-5.2.0-1.cm520.p0.57.el6.x86_64 4/6
Cleanup : cloudera-manager-agent-5.2.0-1.cm520.p0.57.el6.x86_64 5/6
Cleanup : cloudera-manager-daemons-5.2.0-1.cm520.p0.57.el6.x86_64 6/6
Updated:
cloudera-manager-agent.x86_64 0:5.3.0-1.cm530.p0.166.el6
cloudera-manager-daemons.x86_64 0:5.3.0-1.cm530.p0.166.el6
cloudera-manager-server.x86_64 0:5.3.0-1.cm530.p0.166.el6
Complete!
#
[/shell]

Cloudera Manager Serverの起動

先ほど停止したサービスを起動します。
[shell]
# service cloudera-scm-server start
Starting cloudera-scm-server: [ OK ]
[/shell]
しばらく待ち、ブラウザからCloudera Managerにログインします。Cloudera Managerにログインできるようになるまで若干待つ必要があります。うまくいかなければしばらく待ってからリトライしてください。アップグレードウィザードが起動するので、画面の指示に従いましょう。

アップグレードウィザード

スクリーンショットだけ貼っておきます。
upgrade1 upgrade2 upgrade3 upgrade4 upgrade5 upgrade6 upgrade7 upgrade9upgrade8
無事に Cloudera Managerも5.3.0 に更新されました。
upgrade10
しかしっ、、、、

新しいバージョンのQuickstart VMが公開されてる...

アップデートが終わり、満足したところでふと嫌な予感が、、、と思ってみて見るとQuickstart VMの 5.3.xが公開されてました。うーむ。こちらをダウンロードした方が良かったかな。
http://www.cloudera.com/content/cloudera/en/downloads/quickstart_vms/cdh-5-3-x.html
今からダウンロードしようと考えている方は新しいバージョンをお試しください。
 
[*1] 先日、CDH5.1->CDH5.2にアップデートの際、まぁいけるだろう、何とかなるだろうと何も考えずにアップデートをかけて、HDFSのメタ情報の更新に失敗して吹っ飛ばしてしまった私が言っても説得力は全くないのですが

コメント

  1. maru より:

    えーとお作法的には常に
    (Cloudera Managerのバージョン)≧(CDHのバージョン)
    であることが推奨されていたと思います。
    それとCloudera Manager 5.3から導入されたという噂のUpgrade Wizardの紹介も是非お願いしたく(HDFSメタ情報の更新とかHiveメタストアの更新とか一連の必要な手順を自動でやってくれるナイスな奴らしいです)

  2. kernel023 kawasaki より:

    コメントありがとうございます。
    お作法のドキュメントを発見しました。仰る通りでした。
    http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/pcm_cdh_cm.html
    #ドキュメント読んでから書け、ってことですね(汗
    Upgrade Wizardですか、、ちょうど5.1.0の仮想マシン群があるので、元気があれば正月休みにでも試してみ、、るかも。