Cloudera Enterprise 5.4リリース
昨日Cloudera 5.4がリリースされました。今回のリリースはかなり品質に重視しているバージョンでもあり、エンタープライズで利用されている方は特にアップデートをお勧めします。
ということで、愛用のCloudera Quickstart VM (5.3)をバージョンアップしてみましょう。
今回のアップデートではCloudera Manager 5.4とCDH 5.4のアップデートを行いますが、CDH5.4ではHadoop 2.5->Hadoop 2.6への更新があり、HDFSのメタデータのアップグレードが必要になります。ドキュメントも用意されているので、正しい手順に従ってアップデートしましょう。ドキュメントを読まずにやると良くないことが起きるかもしれません(経験者談)
http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cm_ag_upgrade_cm5.html
Cloudera Managerのアップグレード
まず、Cloudera Managerをアップグレードします。ドキュメントに従って作業を行います。
Cloudera Managementサービスの停止
ドキュメントに従って関連サービスを停止します。
HiveやImpala等のサービスの停止
Kafka 1.2 CSDの削除
Cloudera Managerのメニューから[管理]->[設定]->[外部サービス記述子]に進むと、CSDのディレクトリが/opt/cloudera/csdだということが確認できます。そこで、ターミナルから /opt/cloudera/csd/KAFKA-1.2.0.jarを削除します。
[code]
$ sudo rm /opt/cloudera/csd/KAFKA-1.2.0.jar
[/code]
Cloudera Managerサーバー、データベース、エージェントの停止
[code]
$ sudo service cloudera-scm-server stop
$ sudo service cloudera-scm-agent stop
[/code]
Javaのバージョンの確認
Java 1.7がインストールされているかどうかを確認してみました。手元の環境では 1.7.0_67がインストールされています。
[code]
$ java -version
java version "1.7.0_67"
Java(TM) SE Runtime Environment (build 1.7.0_67-b01)
Java HotSpot(TM) 64-Bit Server VM (build 24.65-b04, mixed mode)
[/code]
Cloudera Managerのパッケージをアップデート
Quickstart VMの環境はCentOS6.xのため、yumの設定を確認します。/etc/yum.repos.d/cloudera-manager.repoの内容はドキュメントと同じのめ、修正の必要はありませんでした。yumコマンドでアップデートします。
[code]
$ sudo yum clean all
$ sudo yum upgrade ‘cloudera-*’
…
================================================================================
Package Arch Version Repository Size
================================================================================
Updating:
cloudera-manager-agent x86_64 5.4.0-1.cm540.p0.165.el6 cloudera-manager 4.5 M
cloudera-manager-daemons
x86_64 5.4.0-1.cm540.p0.165.el6 cloudera-manager 638 M
cloudera-manager-server x86_64 5.4.0-1.cm540.p0.165.el6 cloudera-manager 7.9 kTransaction Summary
================================================================================
Upgrade 3 Package(s)Total download size: 642 M
Is this ok [y/N]:y
(略)
Updated:
cloudera-manager-agent.x86_64 0:5.4.0-1.cm540.p0.165.el6
cloudera-manager-daemons.x86_64 0:5.4.0-1.cm540.p0.165.el6
cloudera-manager-server.x86_64 0:5.4.0-1.cm540.p0.165.el6
Complete!
[/code]
Cloudera scm serverサービスを開始
[code]
$ sudo service cloudera-scm-server start
Starting cloudera-scm-server: [ OK ]
[/code]
web uiにログインしてエージェントを更新
ブラウザからhttp://quickstart.cloudera:7180にアクセスし、ユーザID/パスワードはともにclouderaでログインします。
ウィザードに従ってエージェントを更新
ウィザードに従い、[続行]ボタンを押して更新をしていきます。






インストールが完了しました。ホストインスペクタで確認します。

アップグレードが完了しました。

いくつか設定が更新されるようです。現在の値が大きいので、環境に合わせて適切に調整してくれるようですね。(手元の仮想マシンは4GBしか割り当てていないため)

JDKパッケージのデプロイ
新しいJDKパッケージを使うようにサービスを再起動します。
[code]
sudo service cloudera-scm-server restart
[/code]
これで無事にCloudera Managerが最新版 (5.4) に更新されました。


次回の後編ではCDH5.4にアップデートしてみます。


コメント