Cloudera Enterprise 6.1.0 リリース
本日(昨日)Cloudera Enterprise 6.1.0 がリリースされました。このリリースはかなり大きなアップデートが含まれており、6.0リリース時に見送られた重要な内容が含まれているようです。CDH5系を使っている方も要注目ですね。
[ANNOUNCE] Cloudera Enterprise 6.1.0 Released
We are pleased to announce the general availability of Cloudera Enterprise 6.1.0, the modern platform for machine learning and analytics optimized for the cloud...
新機能、変更点がたくさんあるので、まずは個人的に興味のある範囲でまとめてみました。
個人的に興味深いアップデート
- HDFS Erasure coding のサポート
- Support for HDFS Erasure encoding for Hive, Navigator, BDR, MapReduce and Spark workloads can reduce storage requirements by up to 50% with a negligible performance impact
- ADLS Gen2対応
- Support for Azure Data Lake Storage Gen 2 enables better performance and lower cost for customers deploying CDH to Azure
- Spark Structured Streaming に対応。ついに(ようやく?)来た
- Support for Spark Structured Streaming - which enables micro-batch processing at as little as 100ms increments with SQL-like APIs - including DataFrames and Datasets, while simplifying implementations via abstractions.
- FlumeからKuduにデータを流し込める
- Flume now supports continuous ingest of data into Kudu (from messaging sources such as Kafka, JMS or Avro) using the Flume Kudu sink
- OpenJDK8対応
- Support for deploying with OpenJDK 8.
アップデートされたコンポーネント
- Kafka 2.0, Spark 2.4, HBase 2.1.1, Accumulo 1.9.2, and Solr 7.4
Spark 2.4 へのアップグレードは嬉しい
参考情報
- 6.1.0のリリースノート
CDH 6.1.0 Release Notes | 6.x | Cloudera Documentation
コメント