Cloudera Enterprise 6.2 released!
先週末に Cloudera Enterprise 6.2 がリリースされました。
ほとんどリリースノートを見た範囲のみですが、個人的に興味深いアップデートを一覧してみした。
Cloudera Manager 6.2
New Features and Changes in Cloudera Manager 6.2.0 | 6.x | Cloudera Documentation
www.cloudera.com
- Virtual Private Cluster
- 今回の目玉はこれかな。Cloudera Manager で構築したクラスター A （これをBase Cluster と呼ぶらしい）の上に compute cluster B、C、.... を構築できる。つまり、クラスター A で構築した基盤 (HDFSやオブジェクトストレージなど）をそのままに、クラスターB は計算ノードとしてSparkやImpalaなどの処理を実行できる。
- クラウドでよくある構成のコンピュートとストレージの分離が、Cloudera Manager を使ってオンプレでもクラウドでも構築できるようになるので、リソースを柔軟に利用できるようになる（と思われる）
- Ubuntu 18.04 対応
- 主に @kmizumar さんが喜んでるはず
- Auto-TLS
- HiveServer2とKafka周りのメトリクスが強化
CDH 6.2
New Features in CDH 6.2.0 | 6.x | Cloudera Documentation
www.cloudera.com
HBase
- Serial Replication
- HBaseのレプリケーションは非同期だった。シリアルレプリケーションにより順序が担保されるようになる
- Bucket Cache
- mmap と pmem (persistent memory device) が設定可能になった
Impala
- Multi Cluster のサポート
- リモートクラスターのHDFSにアクセスする場合、ファイルハンドルがキャッシュできるようになった。これによりNameNodeへのトラフィックが減ることでパフォーマンスが上がる（らしい）
- リソース管理とアドミッションコントロールの改善
- メタデータの同期オプション（技術プレビュー）
- INVALIDATA METADATA を実行せずにカタログ情報が同期できる機能
Kafka
- Kafka 2.1.0 にリベース
Kudu
- 場所（ロケーション）を考慮したラック割り当て
- Kudu-Spark がAPIの指定が幾分簡単に
CDHの各コンポーネントもかなり量の不具合が改修されているようなので、興味のある方は試して見てください。
コメント