Cloudera Enterprise 5.8 リリース!

本日 Cloudera Enterprise 5.8 (CDH 5.8, Cloudera Manager 5.8)がリリースされました!リリースノートはこちら

今回のバージョンではCloudera Navigator OptimizerのGA、セキュリティ、およびImpalaとHueのバージョンアップが目玉のようです。前回同様に品質向上に力を入れているようなので、本番クラスタで使うにも安心ですね。

Clouderaの技術ブログから、個人的に興味深いものを抜粋してみます。(特に注目は赤字)

  • パフォーマンス&スケーラビリティ
    • ImpalaのパフォーマンスがKerberos環境で3倍向上
  • ユーザビリティと管理
    • Cloudera Navigator OptimizerがGA
    • HueのSQLエディタが新しいデザインに
    • Hiveのジョブがセキュリティポリシーに基づいたYARNのリソースプールで実行
  • クラウド対応
    • Apache SentryがAmazon S3に対応
    • ImpalaがAmazon S3の読み書きができるように
  • OSSコンポーネントのバージョンアップ

週末にでも愛用のCloudera Quickstart VMをアップデートしてみましょうかね…

(更新)プレスリリースも出ていました

http://www.cloudera.com/about-cloudera/press-center/press-releases/2016-07-21-cloudera-eases-the-path-for-analytics-on-apache-hadoop-with-cloudera-enterprise-5-8.html

StreamSetsでGUIからデータフローを作成

StreamSetsのData CollectorというOSSは、GUIからデータフロー(パイプライン)を定義して実行することができます。かなり簡単なのでオススメです。

t26

今回はQuickstart VM の環境にセットアップしてみました。詳細はQiitaに書いてみたので以下のリンクをどうぞ。

http://qiita.com/kernel023/items/07c1182507e15cadb472

http://qiita.com/kernel023/items/8a939f51cca8469e1f04

YARNとKafkaの短編動画

YARNのチューニングってわかりにくいですよね?このシリーズの動画は割と分かりやすいと思います。同様に、Kafkaって何?って人にはすごく分かりやすい動画。

  • Tuning YARN Applications
  • Quotas: Cloudera Distribution of Apache Kafka

動画でも紹介されていますが、リソース管理のパラメータの設定を行うためのスプレッドシート、これ便利!おすすめです。

http://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_yarn_tuning.html

シリーズ6本の動画が公開されていますが、左上のメニューから選択できます。(インラインではうまく貼れませんでした)

両方とも10分もないのでお時間のあるときにどうぞ〜