CDH4.5、Cloudera Manager 4.8、Cloudera Impala 1.2.1、 Cloudera Search 1.1公開

長いタイトルですが、表記のプロダクト群の新しいバージョンが公開されたようです。

それぞれの詳細についてはアナウンスのメールをご覧下さい。

メールにも書かれていますが、注意点として、
・Cloudera Impala 1.2.1を管理するためにはCloudera Manager 4.8が必要
です。バージョンアップの際は両方同時に行う必要がありますのでご注意を。

検証は後ほど行う予定(は流動的)ですが、気になる点を抜粋。

CDH4.5

今回のバージョンは安定化(バグフィックス)。それに加えセキュリティに関するものが多いようです。Apache (incubating) Sentryに関するものも多い。

あとは、カラムナフォーマットのParquet 1.xがCDH4.5に統合され、MapReduce、Pig、Impala、Hiveで利用できるようになったようです。これは一部の人には嬉しいかも。

Cloudera Manager 4.8

メインはImpala 1.2.1とSearch 1.1の対応。Impala 1.2.1で登場したCatalog Serverの管理もできるようになったようです。(後述)

Cloudera Impala 1.2.1

前にフライング気味に紹介しましたが、今回のバージョンでUDFとUDAFに対応していますね。(以前UDFを紹介したのはCDH5.0beta1環境だったので、当然ながら未サポートでした。今回のバージョンで正式にサポートされています)

もう一つ、嬉しい変更は、自動的にメタデータをリフレッシュする「カタログサービス」が導入された点でしょうか。

Cloudera ImpalaではHiveのメタストアを使用していますが、従来は変更された内容を読み込むために、REFRESH またはINVALIDATE METADATAを行う必要がありました。今回のカタログサービスにより、自動的にリフレッシュされるようになります。

# service impala-state-store start
# service impala-catalog start    <— これが新しい
# service impala-server start

Cloudera Search 1.1.0

インデックスレベルの認可にApache Sentry (Incubating)を使用。Lily HBase インデクサがKerberos認証をサポート。やはりセキュリティ面での改善が目立ちます。

HBase Batch インデキシングに対応。MapReduceジョブを使用してHBaseのテーブルをバッチでインデキシングできるようになったようです。

(余談)検証結果をHadoop アドベントカレンダー 2013にのネタにしようかと思ったけど、せっかく初日を確保したので、2013年の締めとしてもう少し大局的なことを書く予定です。

Pocket

2 thoughts on “CDH4.5、Cloudera Manager 4.8、Cloudera Impala 1.2.1、 Cloudera Search 1.1公開

Leave a Reply

Your email address will not be published. Required fields are marked *

CAPTCHA


日本語が含まれない投稿は無視されますのでご注意ください。(スパム対策)