Quickstart VMをCloudera 5.4にアップデート(前編)

Cloudera Enterprise 5.4リリース

昨日Cloudera 5.4がリリースされました。今回のリリースはかなり品質に重視しているバージョンでもあり、エンタープライズで利用されている方は特にアップデートをお勧めします。
ということで、愛用のCloudera Quickstart VM (5.3)をバージョンアップしてみましょう。
今回のアップデートではCloudera Manager 5.4とCDH 5.4のアップデートを行いますが、CDH5.4ではHadoop 2.5->Hadoop 2.6への更新があり、HDFSのメタデータのアップグレードが必要になります。ドキュメントも用意されているので、正しい手順に従ってアップデートしましょう。ドキュメントを読まずにやると良くないことが起きるかもしれません(経験者談)
http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cm_ag_upgrade_cm5.html

Cloudera Managerのアップグレード

まず、Cloudera Managerをアップグレードします。ドキュメントに従って作業を行います。

cm54_beforeCM5.3時代のスクリーンショット

Cloudera Managementサービスの停止

ドキュメントに従って関連サービスを停止します。

HiveやImpala等のサービスの停止
Kafka 1.2 CSDの削除

Cloudera Managerのメニューから[管理]->[設定]->[外部サービス記述子]に進むと、CSDのディレクトリが/opt/cloudera/csdだということが確認できます。そこで、ターミナルから /opt/cloudera/csd/KAFKA-1.2.0.jarを削除します。
[code]
$ sudo rm /opt/cloudera/csd/KAFKA-1.2.0.jar
[/code]

Cloudera Managerサーバー、データベース、エージェントの停止

[code]
$ sudo service cloudera-scm-server stop
$ sudo service cloudera-scm-agent stop
[/code]

Javaのバージョンの確認

Java 1.7がインストールされているかどうかを確認してみました。手元の環境では 1.7.0_67がインストールされています。
[code]
$ java -version
java version "1.7.0_67"
Java(TM) SE Runtime Environment (build 1.7.0_67-b01)
Java HotSpot(TM) 64-Bit Server VM (build 24.65-b04, mixed mode)
[/code]

Cloudera Managerのパッケージをアップデート

Quickstart VMの環境はCentOS6.xのため、yumの設定を確認します。/etc/yum.repos.d/cloudera-manager.repoの内容はドキュメントと同じのめ、修正の必要はありませんでした。yumコマンドでアップデートします。
[code]
$ sudo yum clean all
$ sudo yum upgrade 'cloudera-*'
...
================================================================================
Package                 Arch   Version                  Repository        Size
================================================================================
Updating:
cloudera-manager-agent  x86_64 5.4.0-1.cm540.p0.165.el6 cloudera-manager 4.5 M
cloudera-manager-daemons
x86_64 5.4.0-1.cm540.p0.165.el6 cloudera-manager 638 M
cloudera-manager-server x86_64 5.4.0-1.cm540.p0.165.el6 cloudera-manager 7.9 kTransaction Summary
================================================================================
Upgrade       3 Package(s)Total download size: 642 M
Is this ok [y/N]:y
(略)
Updated:
cloudera-manager-agent.x86_64 0:5.4.0-1.cm540.p0.165.el6
cloudera-manager-daemons.x86_64 0:5.4.0-1.cm540.p0.165.el6
cloudera-manager-server.x86_64 0:5.4.0-1.cm540.p0.165.el6
Complete!
[/code]

Cloudera scm serverサービスを開始

[code]
$ sudo service cloudera-scm-server start
Starting cloudera-scm-server:                              [  OK  ]
[/code]

web uiにログインしてエージェントを更新

ブラウザからhttp://quickstart.cloudera:7180にアクセスし、ユーザID/パスワードはともにclouderaでログインします。

ウィザードに従ってエージェントを更新

ウィザードに従い、[続行]ボタンを押して更新をしていきます。
cm54_wizard1
cm54_wizard2
cm54_wizard3
cm54_wizard4
cm54_wizard5
cm54_wizard5
インストールが完了しました。ホストインスペクタで確認します。
cm54_wizard6
アップグレードが完了しました。
cm54_wizard7
いくつか設定が更新されるようです。現在の値が大きいので、環境に合わせて適切に調整してくれるようですね。(手元の仮想マシンは4GBしか割り当てていないため)
cm54_wizard8

JDKパッケージのデプロイ

新しいJDKパッケージを使うようにサービスを再起動します。
[code]
sudo service cloudera-scm-server restart
[/code]
これで無事にCloudera Managerが最新版 (5.4) に更新されました。
cm54_after
cm54_version
次回の後編ではCDH5.4にアップデートしてみます。

コメント