Cloudera Enterprise 6.2 released!
先週末に Cloudera Enterprise 6.2 がリリースされました。
ほとんどリリースノートを見た範囲のみですが、個人的に興味深いアップデートを一覧してみした。
Cloudera Manager 6.2
New Features and Changes in Cloudera Manager 6.2.0 | 6.x | Cloudera Documentation
- Virtual Private Cluster
- 今回の目玉はこれかな。Cloudera Manager で構築したクラスター A (これをBase Cluster と呼ぶらしい)の上に compute cluster B、C、.... を構築できる。つまり、クラスター A で構築した基盤 (HDFSやオブジェクトストレージなど)をそのままに、クラスターB は計算ノードとしてSparkやImpalaなどの処理を実行できる。
- クラウドでよくある構成のコンピュートとストレージの分離が、Cloudera Manager を使ってオンプレでもクラウドでも構築できるようになるので、リソースを柔軟に利用できるようになる(と思われる)
- Ubuntu 18.04 対応
- 主に @kmizumar さんが喜んでるはず
- Auto-TLS
- HiveServer2とKafka周りのメトリクスが強化
CDH 6.2
New Features in CDH 6.2.0 | 6.x | Cloudera Documentation
HBase
- Serial Replication
- HBaseのレプリケーションは非同期だった。シリアルレプリケーションにより順序が担保されるようになる
- Bucket Cache
- mmap と pmem (persistent memory device) が設定可能になった
Impala
- Multi Cluster のサポート
- リモートクラスターのHDFSにアクセスする場合、ファイルハンドルがキャッシュできるようになった。これによりNameNodeへのトラフィックが減ることでパフォーマンスが上がる(らしい)
- リソース管理とアドミッションコントロールの改善
- メタデータの同期オプション(技術プレビュー)
- INVALIDATA METADATA を実行せずにカタログ情報が同期できる機能
Kafka
- Kafka 2.1.0 にリベース
Kudu
- 場所(ロケーション)を考慮したラック割り当て
- Kudu-Spark がAPIの指定が幾分簡単に
CDHの各コンポーネントもかなり量の不具合が改修されているようなので、興味のある方は試して見てください。
コメント