Cloudera Enterprise 6.2 リリース

CDH6

Cloudera Enterprise 6.2 released!

先週末に Cloudera Enterprise 6.2 がリリースされました。

ほとんどリリースノートを見た範囲のみですが、個人的に興味深いアップデートを一覧してみした。

Cloudera Manager 6.2

New Features and Changes in Cloudera Manager 6.2.0 | 6.x | Cloudera Documentation
  • Virtual Private Cluster
    • 今回の目玉はこれかな。Cloudera Manager で構築したクラスター A (これをBase Cluster と呼ぶらしい)の上に compute cluster B、C、…. を構築できる。つまり、クラスター A で構築した基盤 (HDFSやオブジェクトストレージなど)をそのままに、クラスターB は計算ノードとしてSparkやImpalaなどの処理を実行できる。
    • クラウドでよくある構成のコンピュートとストレージの分離が、Cloudera Manager を使ってオンプレでもクラウドでも構築できるようになるので、リソースを柔軟に利用できるようになる(と思われる)
  • Ubuntu 18.04 対応
    • 主に @kmizumar さんが喜んでるはず
  • Auto-TLS
  • HiveServer2とKafka周りのメトリクスが強化

CDH 6.2

New Features in CDH 6.2.0 | 6.x | Cloudera Documentation

HBase

  • Serial Replication
    • HBaseのレプリケーションは非同期だった。シリアルレプリケーションにより順序が担保されるようになる
  • Bucket Cache
    • mmap と pmem (persistent memory device) が設定可能になった

Impala

  • Multi Cluster のサポート
    • リモートクラスターのHDFSにアクセスする場合、ファイルハンドルがキャッシュできるようになった。これによりNameNodeへのトラフィックが減ることでパフォーマンスが上がる(らしい)
  • リソース管理とアドミッションコントロールの改善
  • メタデータの同期オプション(技術プレビュー)
    • INVALIDATA METADATA を実行せずにカタログ情報が同期できる機能

Kafka

  • Kafka 2.1.0 にリベース

Kudu

  • 場所(ロケーション)を考慮したラック割り当て
  • Kudu-Spark がAPIの指定が幾分簡単に

 

CDHの各コンポーネントもかなり量の不具合が改修されているようなので、興味のある方は試して見てください。

コメント