Apache Kafkaをセットアップ(途中まで)

Hadoop関連(全部俺) Advent Calendar 2014:21日目の記事です
Apache KafkaはLinkedInで開発された分散型のメッセージングシステムで、大量のイベントとログデータを低レイテンシで収集/配信するために使用できます。最近 Apache Flume と連携した Flafkaなどが登場しているので、徐々に使いやすくなりそうです。勉強しなければ、、、
ということで、今回も愛用している Cloudera Quickstart VM の環境に Kafka をセットアップします。
CDH5.2からKafkaが実験的に利用できるようになっています(サポート対象ではないため、使用は自己責任)。下記のドキュメントを参考にセットアップします。
http://www.cloudera.com/content/cloudera/en/developers/home/cloudera-labs/apache-kafka.html
http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cm_mc_addon_services.html#concept_qbv_3jk_bn_unique_1

1. KafkaのJARファイルをダウンロード

http://archive-primary.cloudera.com/cloudera-labs/csds/kafka/ からファイルをダウンロードします。ちなみに CSD というのは「Custom Service Descriptor」の略のようです。わかりにくい。。

2. ダウンロードしたCSDファイルをセットアップ

CSDファイルは /opt/cloudera/csd ディレクトリにセットアップ(コピー)し、Cloudera Manager Serverを再起動します。
[shell]
$ sudo cp CLABS_KAFKA-1.0.0.jar /opt/cloudera/csd/
$ sudo service cloudera-scm-server restart
Stopping cloudera-scm-server: [ OK ]
Starting cloudera-scm-server: [ OK ]
$
[/shell]
なお、パスを変更する場合はCloudera Managerのトップのメニューから、[管理]->[設定]を選択し、[外部サービス記述子]を選択してカスタマイズできます。

マネージメントサービスを再起動

Cloudera Managerにログインして、メニューから [クラスタ] -> Cluster Management Service -> mgmt を選択します。
アクションから再起動を選択します。
再起動後、Cloudera Managerにログインし直します。

Parcelの配布

ログインしたらメニューの中央付近にある、パッケージのアイコンをクリックします(カーソルをあわせると、新しいParcelと表示されるはずです)
CLABS_KAFKA がダウンロード可能になっているのでボタンを押してダウンロードします。
parcel_kafka
ダウンロードが終わったら、[配布] をクリックし、続いて [アクティブ化]します。今回はCDH5.2.1もアクティブ化したので、Quickstart VMも再起動します。
parcel_kafka2 parcel_kafka3

Kafkaサービスの追加

トップページからサービスを追加します。
cm_add_serviceKafkaを選択し、wizardに従って進んでいきます
cm_wizard1cm_wizard2cm_wizard3どのホストにインストールするかを決定します。疑似分散なので1台しかありませんが、ホストの選択をクリックします。
cm_wizard3xホストにチェックをしてOKを押します。
しかし、この環境にインストールしているサービス多すぎ。。。
cm_wizard4ここはデフォルトのままにします。
cm_wizard4failと思ったらここでエラー。。。。
残念ながら問題はまだ解決できていませんが、状況的には下記の問題と同じように見えます。http://community.cloudera.com/t5/Cloudera-Labs/Kafka-errors-installing-via-parcels/m-p/21091#M26
しかしbroker.idをセットしても解決しないので、何かがおかしいですね。途中までの手順は間違ってないはずなんですが、改めて出直します。うーん。。。。
 
 

コメント

  1. […] 昨年Cloudera Labで実験目的でダウンロードできるようになっていたのでKafkaのインストールを試したことがありました(過去ログ1 2 3 )が、晴れて卒業して正式サポートになりました。 […]