Cloudera Manager 5 beta2にアップデート

本日、Cloudera Manager 5 beta2が公開されました。
リリースノートcdh-usersーリングリストのアナウンスによると、以下のコンポーネントが新しく追加されています。

  • Spark 0.9
  • Crunch 0.9
  • Parquet 1.2.5
  • Kite 0.10
  • Avro 1.7.5

その他、以前Blogにも書いたHDFSのキャッシングも含まれているようなので、試してみなければ。。。
とはいえ、まずは前から使い回している仮想化環境、 Cloudera Quick Start Demo VMのCloudera Managerのバージョンを上げるところから始めてみます。

Cloudera Mangerを 5 beta2 にバージョンアップ

まずは現在のバージョンの確認を。
CM5 beta1手元の環境の yum のレポジトリを確認したところ、beta1 のレポジトリを参照するようになっていました。まずは Cloudera Manager 5 (以降CM5)の最新を参照するように変更します。
/etc/yum.repos.d/cloudera-manager.repo
[shell]
[cloudera-manager]
# Packages for Cloudera Manager, Version 5, on RedHat or CentOS 6 x86_64
name=Cloudera Manager
baseurl=http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5/
gpgkey = http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera
gpgcheck = 1
[/shell]
変更したら、yumを使ってアップデートします。
※本来はこの前に各種サービスの停止などを行うべきです。詳細はドキュメントをご覧下さい。どうにかなるだろうと思って嵌りました。。
[shell]
[cloudera@localhost ~]$ sudo yum -y update cloudera-manager*
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
* base: www.ftp.ne.jp
* epel: mirrors.hust.edu.cn
* extras: www.ftp.ne.jp
* updates: www.ftp.ne.jp
cloudera-manager | 951 B 00:00
cloudera-manager/primary | 4.0 kB 00:00
cloudera-manager 7/7
Setting up Update Process
Resolving Dependencies
--> Running transaction check
---> Package cloudera-manager-agent.x86_64 0:5.0.0-0.cm5b1.p0.77.el6 will be updated
---> Package cloudera-manager-agent.x86_64 0:5.0.0-0.cm5b2.p0.119.el6 will be an update
--> Processing Dependency: portmap for package: cloudera-manager-agent-5.0.0-0.cm5b2.p0.119.el6.x86_64
---> Package cloudera-manager-daemons.x86_64 0:5.0.0-0.cm5b1.p0.77.el6 will be updated
---> Package cloudera-manager-daemons.x86_64 0:5.0.0-0.cm5b2.p0.119.el6 will be an update
---> Package cloudera-manager-server.x86_64 0:5.0.0-0.cm5b1.p0.77.el6 will be updated
---> Package cloudera-manager-server.x86_64 0:5.0.0-0.cm5b2.p0.119.el6 will be an update
---> Package cloudera-manager-server-db.x86_64 0:5.0.0-0.cm5b1.p0.77.el6 will be obsoleted
---> Package cloudera-manager-server-db-2.x86_64 0:5.0.0-0.cm5b2.p0.119.el6 will be obsoleting
--> Running transaction check
---> Package rpcbind.x86_64 0:0.2.0-11.el6 will be installed
--> Processing Dependency: libgssglue for package: rpcbind-0.2.0-11.el6.x86_64
--> Processing Dependency: libtirpc.so.1()(64bit) for package: rpcbind-0.2.0-11.el6.x86_64
--> Processing Dependency: libgssglue.so.1()(64bit) for package: rpcbind-0.2.0-11.el6.x86_64
--> Running transaction check
---> Package libgssglue.x86_64 0:0.1-11.el6 will be installed
---> Package libtirpc.x86_64 0:0.2.1-6.el6_4 will be installed
--> Finished Dependency Resolution
Dependencies Resolved
================================================================================
Package Arch Version Repository Size
================================================================================
Installing:
cloudera-manager-server-db-2
x86_64 5.0.0-0.cm5b2.p0.119.el6 cloudera-manager 9.7 k
replacing cloudera-manager-server-db.x86_64 5.0.0-0.cm5b1.p0.77.el6
Updating:
cloudera-manager-agent x86_64 5.0.0-0.cm5b2.p0.119.el6 cloudera-manager 3.7 M
cloudera-manager-daemons
x86_64 5.0.0-0.cm5b2.p0.119.el6 cloudera-manager 324 M
cloudera-manager-server x86_64 5.0.0-0.cm5b2.p0.119.el6 cloudera-manager 7.9 k
Installing for dependencies:
libgssglue x86_64 0.1-11.el6 base 23 k
libtirpc x86_64 0.2.1-6.el6_4 base 78 k
rpcbind x86_64 0.2.0-11.el6 base 51 k
Transaction Summary
================================================================================
Install 4 Package(s)
Upgrade 3 Package(s)
Total download size: 328 M
Downloading Packages:
(1/7): cloudera-manager-agent-5.0.0-0.cm5b2.p0.119.el6.x | 3.7 MB 00:06
(2/7): cloudera-manager-daemons-5.0.0-0.cm5b2.p0.119.el6 | 324 MB 07:04
(3/7): cloudera-manager-server-5.0.0-0.cm5b2.p0.119.el6. | 7.9 kB 00:00
(4/7): cloudera-manager-server-db-2-5.0.0-0.cm5b2.p0.119 | 9.7 kB 00:00
(5/7): libgssglue-0.1-11.el6.x86_64.rpm | 23 kB 00:00
(6/7): libtirpc-0.2.1-6.el6_4.x86_64.rpm | 78 kB 00:00
(7/7): rpcbind-0.2.0-11.el6.x86_64.rpm | 51 kB 00:00
--------------------------------------------------------------------------------
Total 772 kB/s | 328 MB 07:14
Running rpm_check_debug
Running Transaction Test
Transaction Test Succeeded
Running Transaction
Installing : libgssglue-0.1-11.el6.x86_64 1/11
Installing : libtirpc-0.2.1-6.el6_4.x86_64 2/11
Installing : rpcbind-0.2.0-11.el6.x86_64 3/11
Updating : cloudera-manager-daemons-5.0.0-0.cm5b2.p0.119.el6.x86_64 4/11
Updating : cloudera-manager-server-5.0.0-0.cm5b2.p0.119.el6.x86_64 5/11
Installing : cloudera-manager-server-db-2-5.0.0-0.cm5b2.p0.119.el6.x8 6/11
Updating : cloudera-manager-agent-5.0.0-0.cm5b2.p0.119.el6.x86_64 7/11
warning: /etc/cloudera-scm-agent/config.ini created as /etc/cloudera-scm-agent/config.ini.rpmnew
Erasing : cloudera-manager-server-db-5.0.0-0.cm5b1.p0.77.el6.x86_6 8/11
pg_ctl: server does not shut down
Cleanup : cloudera-manager-server-5.0.0-0.cm5b1.p0.77.el6.x86_64 9/11
Cleanup : cloudera-manager-daemons-5.0.0-0.cm5b1.p0.77.el6.x86_64 10/11
Cleanup : cloudera-manager-agent-5.0.0-0.cm5b1.p0.77.el6.x86_64 11/11
Installed:
cloudera-manager-server-db-2.x86_64 0:5.0.0-0.cm5b2.p0.119.el6
Dependency Installed:
libgssglue.x86_64 0:0.1-11.el6 libtirpc.x86_64 0:0.2.1-6.el6_4
rpcbind.x86_64 0:0.2.0-11.el6
Updated:
cloudera-manager-agent.x86_64 0:5.0.0-0.cm5b2.p0.119.el6
cloudera-manager-daemons.x86_64 0:5.0.0-0.cm5b2.p0.119.el6
cloudera-manager-server.x86_64 0:5.0.0-0.cm5b2.p0.119.el6
Replaced:
cloudera-manager-server-db.x86_64 0:5.0.0-0.cm5b1.p0.77.el6
Complete!
[cloudera@localhost ~]$
[/shell]
念のために再起動します。

ブラウザからアップデート

ブラウザからいつものようにログインすると、ウィザードの画面が表示されます。
cm5b2_wizard_japaneseおや、何かがおかしいような。気になったので、ブラウザのプロパティを英語に切り替えて比較してみると、
cm5b2_wizard(English)、、、表記が古いままのようです。新しいバージョンでは Enterprise Data Hub という文字が見えますね。
不具合を見つけてしまったのでJiraに報告しておきました(表示だけの問題のはずなので、インストールやアップグレードには特に影響はないと思います)

アップグレード

ウイザードの指示に従いアップグレードしていきます。基本的に、次に進んでいくだけなので何も考える必要はありません。
cm5wizard6
cm5wizard1cm5wizard2cm5wizard3cm5wizard4cm5wizard5cm5wizard6検査も終わりました。swapinessの設定(swapの頻度を下げる)とTHPの無効化をしろと警告が出ています。
無事にインストールが終わりました。特に問題もなく簡単です。

CM5 beta2スクリーンショット

今回管理しているクラスタはCDH4です。後日CDH5にアップデート予定ですが、CM5b2の画面をいくつか確認してみました。パッと見てわかるのは、メニューの位置などが若干変更されているところでしょうか(それほど顕著ではないですが)
cm5b2_topcm5b2_hdfscm5b2_version

コメント