Cloudera Enterprise 6 beta で Erasure Coding を試してみる

Hadoop 3.0 で導入された HDFS  Erasure Coding を Cloudera Enterprise 6.0 beta の環境で試してみました。
HDFSのErasure Coding は、HDFSのブロックの複製とは異なり、大規模環境においてはストレージに必要なコストを削減できる可能性がある技術です。しかし、小さいデータを格納する際は不利になり、ラック障害やImpala、Spark/MapReduceのようなジョブから利用する場合のパフォーマンス面でも注意が必要です。
Erasure Codingについては過去の投稿Clouderaのブログ、公式ページのドキュメントをご覧ください。整理できたら近いうちに何か書くかもしれません。
“Cloudera Enterprise 6 beta で Erasure Coding を試してみる” の続きを読む

Cloudera Enterprise 6 (beta) インストール

Cloudera Enteprise 6 beta

先月検証したまま放置していましたが、Cloudera Enteprise 6 public beta をインストールしたのでメモ書きです。
Cloudera Enterprise 6 のページからβプログラムに参加すると、ダウンロードのリンクなどが送られてきます。日本語版もあるのでそれに従ってインストーラをダウンロードしてください。
“Cloudera Enterprise 6 (beta) インストール” の続きを読む

Cloudera Enterprise 6 Beta リリース!

Hadoop 3系がリリースされ、CDH5のリリースから4年が経過した今、Cloudera Enterprise 6のβ版が公開されたようです。「CDH6」という名称の方がわかりやすいかもしれませんね。
Cloudera Etnerprise 6 のページを見ると、コンポーネントのバージョンが更新されています。

  • Cloudera Manager 6
  • Cloudera Director 6
  • Cloudera Navigator6

OSSのコンポーネントのバージョンも(プロジェクトによっては)かなり変わりそうですね。

  • Apache Hadoop 3.0
  • Apache Hive 2.1
  • Apache HBase 2.1
  • Apache Oozie 5.0
  • Apache Avro 1.8
  • Apache Parquet 1.9
  • Apache Sentry 2.0
  • Apache Kafka 1.0
  • Apache Solr 7.0
  • Apache Spark 2.2

以下のリンクにある情報の方が良さそうです。(ただ、Impala 3.9というのは間違いでしょ…)
https://www.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_60_packaging.htmll
時間をとって検証してみよう。