Cloudera Enterprise 6.1 がリリースされました

CDH6

Cloudera Enterprise 6.1.0 リリース

本日（昨日）Cloudera Enterprise 6.1.0 がリリースされました。このリリースはかなり大きなアップデートが含まれており、6.0リリース時に見送られた重要な内容が含まれているようです。CDH5系を使っている方も要注目ですね。

[ANNOUNCE] Cloudera Enterprise 6.1.0 Released
We are pleased to announce the general availability of Cloudera Enterprise 6.1.0, the modern platform for machine learning and analytics optimized for the cloud...
community.cloudera.com

新機能、変更点がたくさんあるので、まずは個人的に興味のある範囲でまとめてみました。

個人的に興味深いアップデート

  • HDFS Erasure coding のサポート
    • Support for HDFS Erasure encoding for Hive, Navigator, BDR, MapReduce and Spark workloads can reduce storage requirements by up to 50% with a negligible performance impact
  • ADLS Gen2対応
    • Support for Azure Data Lake Storage Gen 2 enables better performance and lower cost for customers deploying CDH to Azure
  • Spark Structured Streaming に対応。ついに（ようやく？）来た
    • Support for Spark Structured Streaming - which enables micro-batch processing at as little as 100ms increments with SQL-like APIs - including DataFrames and Datasets, while simplifying implementations via abstractions.
  •  FlumeからKuduにデータを流し込める
    • Flume now supports continuous ingest of data into Kudu (from messaging sources such as Kafka, JMS or Avro) using the Flume Kudu sink
  • OpenJDK8対応
    • Support for deploying with OpenJDK 8.

アップデートされたコンポーネント

  • Kafka 2.0, Spark 2.4, HBase 2.1.1, Accumulo 1.9.2, and Solr 7.4

Spark 2.4  へのアップグレードは嬉しい

参考情報

コメント