hadoop-logo
ようこそ Tech blogへ!
「これからHadoopを勉強しよう」という方はまず下記のページから

サイトの移行に伴って画像が表示されないなどの不具合が生じています

Cloudera Enterprise 6.2 リリース

CDH6

Cloudera Enterprise 6.2 released!

先週末に Cloudera Enterprise 6.2 がリリースされました。

ほとんどリリースノートを見た範囲のみですが、個人的に興味深いアップデートを一覧してみした。

Cloudera Manager 6.2

New Features and Changes in Cloudera Manager 6.2.0 | 6.x | Cloudera Documentation
  • Virtual Private Cluster
    • 今回の目玉はこれかな。Cloudera Manager で構築したクラスター A (これをBase Cluster と呼ぶらしい)の上に compute cluster B、C、…. を構築できる。つまり、クラスター A で構築した基盤 (HDFSやオブジェクトストレージなど)をそのままに、クラスターB は計算ノードとしてSparkやImpalaなどの処理を実行できる。
    • クラウドでよくある構成のコンピュートとストレージの分離が、Cloudera Manager を使ってオンプレでもクラウドでも構築できるようになるので、リソースを柔軟に利用できるようになる(と思われる)
  • Ubuntu 18.04 対応
    • 主に @kmizumar さんが喜んでるはず
  • Auto-TLS
  • HiveServer2とKafka周りのメトリクスが強化

CDH 6.2

New Features in CDH 6.2.0 | 6.x | Cloudera Documentation

HBase

  • Serial Replication
    • HBaseのレプリケーションは非同期だった。シリアルレプリケーションにより順序が担保されるようになる
  • Bucket Cache
    • mmap と pmem (persistent memory device) が設定可能になった

Impala

  • Multi Cluster のサポート
    • リモートクラスターのHDFSにアクセスする場合、ファイルハンドルがキャッシュできるようになった。これによりNameNodeへのトラフィックが減ることでパフォーマンスが上がる(らしい)
  • リソース管理とアドミッションコントロールの改善
  • メタデータの同期オプション(技術プレビュー)
    • INVALIDATA METADATA を実行せずにカタログ情報が同期できる機能

Kafka

  • Kafka 2.1.0 にリベース

Kudu

  • 場所(ロケーション)を考慮したラック割り当て
  • Kudu-Spark がAPIの指定が幾分簡単に

 

CDHの各コンポーネントもかなり量の不具合が改修されているようなので、興味のある方は試して見てください。

コメント