CDH 5.4
前回はQuickstart VMのCloudera Managerを5.4 にアップデートしたので、本日はCDH 5.4にアップデートしてみましょう。
Quickstart VMで利用できるCloudera Managerは「Express版」という無償版のエディションのため、無停止でアップデートするためのローリングアップグレードには対応していません。従って、ドキュメントの手順に従い、サービスを停止してアップデートすることになります。（Quickstart VMは所詮１ノードですしね、、、本番で使うこともないので停止しても無問題ですが、本番環境の場合は注意が必要です）
http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/install_upgrade_to_cdh54_parcels.html
Hive 0.13 (CDH5.2)で日付のパーティションを使っている場合、Hive 1.xにアップグレード時に問題が起こるようです。アップグレードする場合はドキュメントに従って修正が必要になるのでご注意を。
クラスタのサービス停止
Cloudera Managerでクラスタのサービスを停止します。ホームからクラスタ名(Cloudera Quickstart)を選択して停止を選びます。
下記はサービス停止後の状態です。
NameNodeのメタデータをバックアップ
バックアップは重要ですね。
[code]
[cloudera@quickstart ~]$ sudo su –
[root@quickstart ~]# cd /var/lib/hadoop-hdfs/cache/hdfs/dfs/name
[root@quickstart name]# # cd /mnt/hadoop/hdfs/name
[root@quickstart name]# tar -cvf /root/nn_backup_data.tar .
./
./current/
./current/edits_0000000000000004088-0000000000000004179
./current/edits_0000000000000020038-0000000000000020473
./current/edits_0000000000000003867-0000000000000004087
./current/fsimage_0000000000000071456.md5
./current/edits_0000000000000062486-0000000000000063029
./current/edits_0000000000000057714-0000000000000058243
./current/edits_0000000000000054523-0000000000000055046
./current/edits_0000000000000011537-0000000000000012122
:
:
[/code]
必要に応じてHiveのメタストアのバックアップも行っておきましょう。
http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cm_ag_backup_dbs.html
Parcelのダウンロード
ParcelはCloudera Managerで利用できるパッケージの形式です。Cloudera Manager 5.4ではParcelの設定画面が変更されています。パッケージが増えると新しい方が見やすくて良いですね。進捗のプログレスバーもいい感じです。
↑CM5.3までのParcelの画面
↑CM5.4でのParcelの画面
CDH 5.4のParcelをダウンロードします。
クラスタのアップグレード
[ホーム]でクラスタを選んで、メニューから[クラスタのアップグレード]を選びます。
アップグレードウィザードを開始します
今回はCDH5.4.0.1を選択して続行します。
メタデータはバックアップしたので、チェックボックスにチェックして続行します。
特にエラーがなかったようです。続行します。
このインストール画面も新しくなりました。今回は１ノードしかありませんが、ノード数が多い場合は見やすくなります。
アンパック済みになったので続行します。
ホストインスペクタで警告がでていることがわかりました。Quickstart VMは、デフォルトでRPMパッケージを使用しています。今回はParcelを使っているため、パッケージが不要だという警告でした。ターミナルから yum remove パッケージ名コマンドで不要なパッケージをアンインストールし、[再実行]ボタンを押します。
エラーがなくなりましたね。続行します。
翻訳が微妙に見えますが、ドキュメントに従って作業するということなのでしょうか？。今回はこのまま続行しましたが、ちょっと気になりますね。
25のステップでアップグレードが完了します。簡単です。
（実はアップグレードの途中でディスクが溢れ、VMWareが落ちてエラーが発生してしまいましたが、、、復旧の顛末は機会があれば）
コメント