Apache Kafkaをセットアップ(途中まで)

Hadoop関連(全部俺) Advent Calendar 2014:21日目の記事です

Apache KafkaはLinkedInで開発された分散型のメッセージングシステムで、大量のイベントとログデータを低レイテンシで収集/配信するために使用できます。最近 Apache Flume と連携した Flafkaなどが登場しているので、徐々に使いやすくなりそうです。勉強しなければ、、、

ということで、今回も愛用している Cloudera Quickstart VM の環境に Kafka をセットアップします。

CDH5.2からKafkaが実験的に利用できるようになっています(サポート対象ではないため、使用は自己責任)。下記のドキュメントを参考にセットアップします。

http://www.cloudera.com/content/cloudera/en/developers/home/cloudera-labs/apache-kafka.html

http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cm_mc_addon_services.html#concept_qbv_3jk_bn_unique_1

1. KafkaのJARファイルをダウンロード

http://archive-primary.cloudera.com/cloudera-labs/csds/kafka/ からファイルをダウンロードします。ちなみに CSD というのは「Custom Service Descriptor」の略のようです。わかりにくい。。

2. ダウンロードしたCSDファイルをセットアップ

CSDファイルは /opt/cloudera/csd ディレクトリにセットアップ(コピー)し、Cloudera Manager Serverを再起動します。

$ sudo cp CLABS_KAFKA-1.0.0.jar /opt/cloudera/csd/
$ sudo service cloudera-scm-server restart
Stopping cloudera-scm-server:                              [  OK  ]
Starting cloudera-scm-server:                              [  OK  ]
$

なお、パスを変更する場合はCloudera Managerのトップのメニューから、[管理]->[設定]を選択し、[外部サービス記述子]を選択してカスタマイズできます。

マネージメントサービスを再起動

Cloudera Managerにログインして、メニューから [クラスタ] -> Cluster Management Service -> mgmt を選択します。
アクションから再起動を選択します。

再起動後、Cloudera Managerにログインし直します。

Parcelの配布

ログインしたらメニューの中央付近にある、パッケージのアイコンをクリックします(カーソルをあわせると、新しいParcelと表示されるはずです)

CLABS_KAFKA がダウンロード可能になっているのでボタンを押してダウンロードします。

parcel_kafka

ダウンロードが終わったら、[配布] をクリックし、続いて [アクティブ化]します。今回はCDH5.2.1もアクティブ化したので、Quickstart VMも再起動します。

parcel_kafka2 parcel_kafka3

Kafkaサービスの追加

トップページからサービスを追加します。

cm_add_serviceKafkaを選択し、wizardに従って進んでいきます

cm_wizard1cm_wizard2cm_wizard3どのホストにインストールするかを決定します。疑似分散なので1台しかありませんが、ホストの選択をクリックします。

cm_wizard3xホストにチェックをしてOKを押します。

しかし、この環境にインストールしているサービス多すぎ。。。

cm_wizard4ここはデフォルトのままにします。

cm_wizard4failと思ったらここでエラー。。。。

残念ながら問題はまだ解決できていませんが、状況的には下記の問題と同じように見えます。http://community.cloudera.com/t5/Cloudera-Labs/Kafka-errors-installing-via-parcels/m-p/21091#M26

しかしbroker.idをセットしても解決しないので、何かがおかしいですね。途中までの手順は間違ってないはずなんですが、改めて出直します。うーん。。。。

 

 

Pocket

One thought on “Apache Kafkaをセットアップ(途中まで)

  1. Pingback: (続)Apache Kafkaを試す(が途中まで) | Tech Blog

Leave a Reply

Your email address will not be published. Required fields are marked *

CAPTCHA


日本語が含まれない投稿は無視されますのでご注意ください。(スパム対策)