HDFSの新しい機能を確認(2) CDH5.0 GAとヘテロジニアス構成

昨日、2014/4/2、CDH 5とCloudera Manager 5がリリースされました。手元の環境をアップデートしたので、いくつかの新しい機能の確認を続けます。
なお前回同様に、CDH5 beta2からのアップデートの際にはHDFSのメタデータの更新が必要です(ついでに言うと、Hiveのメタストアのアップデートも必要でした)。ご注意下さい。

1) HDFSのWebUIの「色」

まず最初はネームノードのWebUI。前回の緑色から変わってますね…。Cloudera Managerと同じカラーです。
CDH5_Namenode information

2) HDFSでのヘテロジニアスストレージ対応 (HDFS-2832)

以前にブログでも書いた、HDFSでストレージの非均一構成の対応(の初期実装)が含まれています。これは、将来的に各データノードがHDD、SSD、RAID、RAMディスクなど、さまざまな種類のデバイス/数に対応し、柔軟な構成(レプリケーション時のデバイスの選択時にこの情報を使用する)がとれるようになるというものです。
現バージョンでは、データノード側の設定ファイルに記述した情報を読み込みんでネームノードに通知するだけのようですが、HDFSが着々と進化していることがわかりますね。

データノードの hdfs-site.xml:

以下のようにメディアの種類を記述する。下記ではSSDと指定した。(コードを見る限り、デフォルトはHDD(DISK)の模様。

<value>[SSD]file:///dfs/dn</value>

dfs.datanode.data.dir
[code]
<property>
<name>dfs.datanode.data.dir</name>
<data>[SSD]file:///dfs/dn</data>
</property>
[/code]
データノード起動時のログ:

Added volume -  /dfs/dn/current, StorageType: SSD

なお、デフォルト(設定ファイルに指定しない)だと DISK と認識されています。

Added volume - /dfs/dn/current, StorageType: DISK

ネームノード側では何も起こっていないようです。ハートビートのプロトコルをWireSharkで見てみようかと思ってますが、時間がなく割愛。

補足:Cloudera Manager 5.0

この設定をCloudera Manager 5.0 から設定しようとしてみたが、残念ながらフォーマットエラーになってしまいましたた。将来的には対応すると思いますが、注意(現時点でこんな設定する人はいないと思いますが)
hdfs2382_cm_err

コメント