Cloudera Manager 5.3にアップデート

Hadoop関連(全部俺) Advent Calendar 2014: 24日目の記事です

#本日用に準備していたブログの仕込みが間に合わないため、明日にまわします

昨日CDHを5.3.0にアップデートしていたのですが、Cloudera Managerは5.2のままだったので、先ほど5.3にアップデートしました。簡単に手順をまとめてみました(。

手順はドキュメントにかなり詳しく書かれています。更新する前に読んだ方がいいでしょう。英語だから読むのが面倒だとか、いままで大丈夫だったから、多分なんとかなるはず(!)というのは危険です[*1]

http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cm_ag_upgrade_cm5.html?scroll=cmig_topic_9_4

Cloudear Manager パッケージの更新

Cloudera quickstart VMはRPMを使ってセットアップされているので、手順に従いyumで更新します。たまたまrootとして作業をしていたので、sudoは使用していません。
サービスを停止し、yum updateを実行しました。

# sudo service cloudera-scm-server stop
Stopping cloudera-scm-server:                              [  OK  ]
# sudo service cloudera-scm-agent stop
Stopping cloudera-scm-agent:                               [  OK  ]

# sudo yum clean all
Loaded plugins: fastestmirror, security
Cleaning repos: base cloudera-cdh5 cloudera-gplextras5 cloudera-manager epel
              : extras updates vmware-tools
Cleaning up Everything
Cleaning up list of fastest mirrors
# yum upgrade 'cloudera-*'
Loaded plugins: fastestmirror, security
Determining fastest mirrors
epel/metalink                                            | 5.9 kB     00:00
 * base: www.ftp.ne.jp
 * epel: ftp.iij.ad.jp
 * extras: www.ftp.ne.jp
 * updates: www.ftp.ne.jp
base                                                     | 3.7 kB     00:00
base/primary_db                                          | 4.6 MB     00:02
cloudera-cdh5                                            |  951 B     00:00
 (略)
Dependencies Resolved

================================================================================
 Package                 Arch   Version                  Repository        Size
================================================================================
Updating:
 cloudera-manager-agent  x86_64 5.3.0-1.cm530.p0.166.el6 cloudera-manager 3.8 M
 cloudera-manager-daemons
                         x86_64 5.3.0-1.cm530.p0.166.el6 cloudera-manager 476 M
 cloudera-manager-server x86_64 5.3.0-1.cm530.p0.166.el6 cloudera-manager 7.6 k

Transaction Summary
================================================================================
Upgrade       3 Package(s)

Total download size: 480 M
Is this ok [y/N]: y
Downloading Packages:
(1/3): cloudera-manager-agent-5.3.0-1.cm530.p0.166.el6.x | 3.8 MB     00:01
(2/3): cloudera-manager-daemons-5.3.0-1.cm530.p0.166.el6 | 476 MB     01:43
(3/3): cloudera-manager-server-5.3.0-1.cm530.p0.166.el6. | 7.6 kB     00:00
--------------------------------------------------------------------------------
Total                                           4.6 MB/s | 480 MB     01:44
Running rpm_check_debug
Running Transaction Test
Transaction Test Succeeded
Running Transaction
  Updating   : cloudera-manager-daemons-5.3.0-1.cm530.p0.166.el6.x86_64     1/6
  Updating   : cloudera-manager-agent-5.3.0-1.cm530.p0.166.el6.x86_64       2/6
  Updating   : cloudera-manager-server-5.3.0-1.cm530.p0.166.el6.x86_64      3/6
  Cleanup    : cloudera-manager-server-5.2.0-1.cm520.p0.57.el6.x86_64       4/6
  Cleanup    : cloudera-manager-agent-5.2.0-1.cm520.p0.57.el6.x86_64        5/6
  Cleanup    : cloudera-manager-daemons-5.2.0-1.cm520.p0.57.el6.x86_64      6/6 

Updated:
  cloudera-manager-agent.x86_64 0:5.3.0-1.cm530.p0.166.el6
  cloudera-manager-daemons.x86_64 0:5.3.0-1.cm530.p0.166.el6
  cloudera-manager-server.x86_64 0:5.3.0-1.cm530.p0.166.el6                     

Complete!
#

Cloudera Manager Serverの起動

先ほど停止したサービスを起動します。

# service cloudera-scm-server start
Starting cloudera-scm-server:                              [  OK  ]

しばらく待ち、ブラウザからCloudera Managerにログインします。Cloudera Managerにログインできるようになるまで若干待つ必要があります。うまくいかなければしばらく待ってからリトライしてください。アップグレードウィザードが起動するので、画面の指示に従いましょう。

アップグレードウィザード

スクリーンショットだけ貼っておきます。

upgrade1 upgrade2 upgrade3 upgrade4 upgrade5 upgrade6 upgrade7 upgrade9upgrade8

無事に Cloudera Managerも5.3.0 に更新されました。

upgrade10

しかしっ、、、、

新しいバージョンのQuickstart VMが公開されてる…

アップデートが終わり、満足したところでふと嫌な予感が、、、と思ってみて見るとQuickstart VMの 5.3.xが公開されてました。うーむ。こちらをダウンロードした方が良かったかな。

http://www.cloudera.com/content/cloudera/en/downloads/quickstart_vms/cdh-5-3-x.html

今からダウンロードしようと考えている方は新しいバージョンをお試しください。

 

[*1] 先日、CDH5.1->CDH5.2にアップデートの際、まぁいけるだろう、何とかなるだろうと何も考えずにアップデートをかけて、HDFSのメタ情報の更新に失敗して吹っ飛ばしてしまった私が言っても説得力は全くないのですが

Pocket

2 thoughts on “Cloudera Manager 5.3にアップデート

  1. えーとお作法的には常に

    (Cloudera Managerのバージョン)≧(CDHのバージョン)

    であることが推奨されていたと思います。

    それとCloudera Manager 5.3から導入されたという噂のUpgrade Wizardの紹介も是非お願いしたく(HDFSメタ情報の更新とかHiveメタストアの更新とか一連の必要な手順を自動でやってくれるナイスな奴らしいです)

Leave a Reply

Your email address will not be published. Required fields are marked *

CAPTCHA


日本語が含まれない投稿は無視されますのでご注意ください。(スパム対策)