Cloudera Enterprise 6 beta で Erasure Coding を試してみる

Hadoop 3.0 で導入された HDFS  Erasure Coding を Cloudera Enterprise 6.0 beta の環境で試してみました。

HDFSのErasure Coding は、HDFSのブロックの複製とは異なり、大規模環境においてはストレージに必要なコストを削減できる可能性がある技術です。しかし、小さいデータを格納する際は不利になり、ラック障害やImpala、Spark/MapReduceのようなジョブから利用する場合のパフォーマンス面でも注意が必要です。

Erasure Codingについては過去の投稿Clouderaのブログ、公式ページのドキュメントをご覧ください。整理できたら近いうちに何か書くかもしれません。

(続きを読む)

Cloudera Enterprise 6 (beta) インストール

Cloudera Enteprise 6 beta

先月検証したまま放置していましたが、Cloudera Enteprise 6 public beta をインストールしたのでメモ書きです。

Cloudera Enterprise 6 のページからβプログラムに参加すると、ダウンロードのリンクなどが送られてきます。日本語版もあるのでそれに従ってインストーラをダウンロードしてください。

(続きを読む)