Apache Hadoop 2.3.0 リリース

Apache Hadoop 2.3.0 公開!

昨日、Apache Hadoop 2.3.0 が公開されました!
http://hadoop.apache.org/releases.html#20+February%2C+2014%3A+Release+2.3.0+available
全く貢献できていませんが、公開おめでとうございます!

New Releaseに書かれている注目すべき機能はこの3つのようです。

  • Support for Heterogeneous Storage hierarchy in HDFS.
  • In-memory cache for HDFS data with centralized administration and management.
  • Simplified distribution of MapReduce binaries via HDFS in YARN Distributed Cache.

前者2つに関しては、以前ざっと調査した内容をブログに書きましたが、
1)Heterogeneous Storage hierarchyは異なる種類のデバイス(HDD, SSD, RAID…など)を混在させる環境下において期待できそうです。(HDFSのヘテロジニアス対応)逆に同一種類のHDDを使用する場合などは効果が薄いかもしれません。
2)In-memory CacheはHDFSのパフォーマンスの向上に期待です。(HDFSが高速に?キャッシュメカニズムの追加
3)は分散キャッシュの改善でしょうか?
上記以外のハイライトは(時間があれば)追記する予定です。リリースノートはこちら。日本人の方のお名前も沢山ありますね。おめでとうございます!

コメント