hadoop-logo
ようこそ Tech blogへ!
「これからHadoopを勉強しよう」という方はまず下記のページから

サイトの移行に伴って画像が表示されないなどの不具合が生じています

HDFSのHotSwapが動かない

昨日から試行錯誤しているHDFSのホットスワップ。動かないんだけどなんでだろう?
http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_admin_hot_swap.html
手元で確認している手順は、
1. hdfs-site.xmlを編集し、dfs.datanode.data.dirにディレクトリを指定
2. reconfig実行
[shell]
[cloudera@quickstart ~]$ sudo -u hdfs hdfs dfsadmin -reconfig datanode quickstart.cloudera:50020 start
Started reconfiguration task on DataNode quickstart.cloudera:50020
[/shell]
ステータスを見ると、以下のように表示される。
[shell]
[cloudera@quickstart ~]$ sudo -u hdfs hdfs dfsadmin -reconfig datanode quickstart.cloudera:50020 status
Reconfiguring status for DataNode[quickstart.cloudera:50020]: started at Sun Dec 28 18:46:30 JST 2014 and finished at Sun Dec 28 18:46:30 JST 2014.
FAILED: Change property rpc.engine.org.apache.hadoop.hdfs.protocolPB.ClientDatanodeProtocolPB
From: "org.apache.hadoop.ipc.ProtobufRpcEngine"
To: ""
Error: Property rpc.engine.org.apache.hadoop.hdfs.protocolPB.ClientDatanodeProtocolPB is not reconfigurable.
FAILED: Change property dfs.datanode.startup
From: "REGULAR"
To: ""
Error: Property dfs.datanode.startup is not reconfigurable.
FAILED: Change property rpc.engine.org.apache.hadoop.hdfs.protocolPB.DatanodeProtocolPB
From: "org.apache.hadoop.ipc.ProtobufRpcEngine"
To: ""
Error: Property rpc.engine.org.apache.hadoop.hdfs.protocolPB.DatanodeProtocolPB is not reconfigurable.
FAILED: Change property rpc.engine.org.apache.hadoop.hdfs.protocolPB.InterDatanodeProtocolPB
From: "org.apache.hadoop.ipc.ProtobufRpcEngine"
To: ""
Error: Property rpc.engine.org.apache.hadoop.hdfs.protocolPB.InterDatanodeProtocolPB is not reconfigurable.
FAILED: Change property rpc.engine.org.apache.hadoop.ipc.ProtocolMetaInfoPB
From: "org.apache.hadoop.ipc.ProtobufRpcEngine"
To: ""
Error: Property rpc.engine.org.apache.hadoop.ipc.ProtocolMetaInfoPB is not reconfigurable.
FAILED: Change property mapreduce.client.genericoptionsparser.used
From: "true"
To: ""
Error: Property mapreduce.client.genericoptionsparser.used is not reconfigurable.
[/shell]
これは(おそらく)reconfigできないプロパティを表示しているだけじゃないかと思うんだけど違うのかな?
umountしようとしてもエラー。DataNodeが使用中になっている
[shell]
[cloudera@quickstart ~]$ sudo umount -f /mnt/hotswap
umount2: Device or resource busy
umount: /mnt/hotswap: device is busy.
(In some cases useful info about processes that use
the device is found by lsof(8) or fuser(1))
umount2: Device or resource busy
[cloudera@quickstart ~]$ sudo lsof /mnt/hotswap/in_use.lock
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
java 7155 hdfs 184uW REG 8,17 24 13 /mnt/hotswap/in_use.lock
[/shell]
新しい領域の追加もやってみたけどうまくいかない。Cloudera Managerで設定変更してるのが問題ってことはないと思うんだけど。
もう少し試行錯誤してみるかな..
公開されている情報が少なすぎるので、ソースを読まないとダメかも。
うまくいった方がいたら教えてください。

コメント

  1. […] 以前試して失敗した機能。これって5.3で対応してたんじゃないのか? […]