hadoop-logo
ようこそ Tech blogへ!
「これからHadoopを勉強しよう」という方はまず下記のページから

サイトの移行に伴って画像が表示されないなどの不具合が生じています

Quickstart VMをCloudera 5.4にアップデート(後編)

CDH 5.4

前回はQuickstart VMのCloudera Managerを5.4 にアップデートしたので、本日はCDH 5.4にアップデートしてみましょう。
Quickstart VMで利用できるCloudera Managerは「Express版」という無償版のエディションのため、無停止でアップデートするためのローリングアップグレードには対応していません。従って、ドキュメントの手順に従い、サービスを停止してアップデートすることになります。(Quickstart VMは所詮1ノードですしね、、、本番で使うこともないので停止しても無問題ですが、本番環境の場合は注意が必要です)
http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/install_upgrade_to_cdh54_parcels.html
Hive 0.13 (CDH5.2)で日付のパーティションを使っている場合、Hive 1.xにアップグレード時に問題が起こるようです。アップグレードする場合はドキュメントに従って修正が必要になるのでご注意を。

クラスタのサービス停止

Cloudera Managerでクラスタのサービスを停止します。ホームからクラスタ名(Cloudera Quickstart)を選択して停止を選びます。
下記はサービス停止後の状態です。
stop_all_service

NameNodeのメタデータをバックアップ

バックアップは重要ですね。
[code]
[cloudera@quickstart ~]$ sudo su –
[root@quickstart ~]# cd /var/lib/hadoop-hdfs/cache/hdfs/dfs/name
[root@quickstart name]# # cd /mnt/hadoop/hdfs/name
[root@quickstart name]# tar -cvf /root/nn_backup_data.tar .
./
./current/
./current/edits_0000000000000004088-0000000000000004179
./current/edits_0000000000000020038-0000000000000020473
./current/edits_0000000000000003867-0000000000000004087
./current/fsimage_0000000000000071456.md5
./current/edits_0000000000000062486-0000000000000063029
./current/edits_0000000000000057714-0000000000000058243
./current/edits_0000000000000054523-0000000000000055046
./current/edits_0000000000000011537-0000000000000012122
:
:
[/code]
必要に応じてHiveのメタストアのバックアップも行っておきましょう。
http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cm_ag_backup_dbs.html

Parcelのダウンロード

ParcelはCloudera Managerで利用できるパッケージの形式です。Cloudera Manager 5.4ではParcelの設定画面が変更されています。パッケージが増えると新しい方が見やすくて良いですね。進捗のプログレスバーもいい感じです。
cm53_parcel↑CM5.3までのParcelの画面
cm54_parcel_new↑CM5.4でのParcelの画面
CDH 5.4のParcelをダウンロードします。
cdh54_parcel

クラスタのアップグレード

[ホーム]でクラスタを選んで、メニューから[クラスタのアップグレード]を選びます。
cluster_upgrade_menuアップグレードウィザードを開始します
wizard1
今回はCDH5.4.0.1を選択して続行します。
wizard2メタデータはバックアップしたので、チェックボックスにチェックして続行します。
wizard3特にエラーがなかったようです。続行します。
wizard4このインストール画面も新しくなりました。今回は1ノードしかありませんが、ノード数が多い場合は見やすくなります。
wizard5アンパック済みになったので続行します。
wizard6_before
ホストインスペクタで警告がでていることがわかりました。Quickstart VMは、デフォルトでRPMパッケージを使用しています。今回はParcelを使っているため、パッケージが不要だという警告でした。ターミナルから yum remove パッケージ名コマンドで不要なパッケージをアンインストールし、[再実行]ボタンを押します。
wizard6_afterエラーがなくなりましたね。続行します。
wizard7翻訳が微妙に見えますが、ドキュメントに従って作業するということなのでしょうか?。今回はこのまま続行しましたが、ちょっと気になりますね。
wizard81wizard8225のステップでアップグレードが完了します。簡単です。
(実はアップグレードの途中でディスクが溢れ、VMWareが落ちてエラーが発生してしまいましたが、、、復旧の顛末は機会があれば)
Home - Cloudera Manager
 
 
 

コメント