CDH4.5、Cloudera Manager 4.8、Cloudera Impala 1.2.1、 Cloudera Search 1.1公開

長いタイトルですが、表記のプロダクト群の新しいバージョンが公開されたようです。
それぞれの詳細についてはアナウンスのメールをご覧下さい。
メールにも書かれていますが、注意点として、
・Cloudera Impala 1.2.1を管理するためにはCloudera Manager 4.8が必要
です。バージョンアップの際は両方同時に行う必要がありますのでご注意を。
検証は後ほど行う予定(は流動的)ですが、気になる点を抜粋。

CDH4.5

今回のバージョンは安定化(バグフィックス)。それに加えセキュリティに関するものが多いようです。Apache (incubating) Sentryに関するものも多い。
あとは、カラムナフォーマットのParquet 1.xがCDH4.5に統合され、MapReduce、Pig、Impala、Hiveで利用できるようになったようです。これは一部の人には嬉しいかも。

Cloudera Manager 4.8

メインはImpala 1.2.1とSearch 1.1の対応。Impala 1.2.1で登場したCatalog Serverの管理もできるようになったようです。(後述)

Cloudera Impala 1.2.1

前にフライング気味に紹介しましたが、今回のバージョンでUDFとUDAFに対応していますね。(以前UDFを紹介したのはCDH5.0beta1環境だったので、当然ながら未サポートでした。今回のバージョンで正式にサポートされています)
もう一つ、嬉しい変更は、自動的にメタデータをリフレッシュする「カタログサービス」が導入された点でしょうか。
Cloudera ImpalaではHiveのメタストアを使用していますが、従来は変更された内容を読み込むために、REFRESH またはINVALIDATE METADATAを行う必要がありました。今回のカタログサービスにより、自動的にリフレッシュされるようになります。
# service impala-state-store start
# service impala-catalog start    <— これが新しい
# service impala-server start

Cloudera Search 1.1.0

インデックスレベルの認可にApache Sentry (Incubating)を使用。Lily HBase インデクサがKerberos認証をサポート。やはりセキュリティ面での改善が目立ちます。
HBase Batch インデキシングに対応。MapReduceジョブを使用してHBaseのテーブルをバッチでインデキシングできるようになったようです。
(余談)検証結果をHadoop アドベントカレンダー 2013にのネタにしようかと思ったけど、せっかく初日を確保したので、2013年の締めとしてもう少し大局的なことを書く予定です。

“CDH4.5、Cloudera Manager 4.8、Cloudera Impala 1.2.1、 Cloudera Search 1.1公開” への2件の返信

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です