Apache Kafkaをセットアップ(解決)

#某24日目のブログ(になるかもしれず、ならないかもしれず)です。
Cloudera 5.3.0 が公開されたのとタイミングを同じくして、Cloudera LaboでApache Kafka 0.8.2 のパッケージが公開されていました。前回 Cloudera Quickstart VMを使ってセットアップにに失敗しましたが、新しいバージョンならうまくいくに違いない、と都合のいいことを考えて、新しいバージョンを使ってインストールしてみました。

基本的なKafkaのセットアップ手順は先日のブログをご覧下さい。
公開されていた Parcel のバージョンはCLABS_KAFKA 0.8.2-1 でした。
kafka0.8.2Parcelをアクティブ化し、続いてKafkaサービスを追加します。
ウィザードに従いセットアップしていくと、、、またもや失敗。
kafka_setup
kafka_setup_error
が、歳を取った分少し学習したので、今回はまじめにログを調べてみることに。
上記の画面から「ロールのログの詳細」のリンクを見てみたところ、下記のようなエラーメッセージが出ていました。
kafka_role_log

午後2:41:52.812 	ERROR 	kafka.log.LogManager
There was an error in one of the threads during logs loading: kafka.common.KafkaException: Found directory /var/lib/kafka/.gnome2, '.gnome2' is not in the form of topic-partition
If a directory does not contain Kafka topic data it should not exist in Kafka's log directory
午後12:41:52.814 	FATAL 	kafka.server.KafkaServer
[Kafka Server 34], Fatal error during KafkaServer startup. Prepare to shutdown
kafka.common.KafkaException: Found directory /var/lib/kafka/.gnome2, '.gnome2' is not in the form of topic-partition
If a directory does not contain Kafka topic data it should not exist in Kafka's log directory
	at kafka.log.Log$.throwException(Log.scala:846)
	at kafka.log.Log$.parseTopicPartitionName(Log.scala:834)
	at kafka.log.LogManager$$anonfun$loadLogs$2$$anonfun$3$$anonfun$apply$7$$anonfun$apply$1.apply$mcV$sp(LogManager.scala:137)
	at kafka.utils.Utils$$anon$1.run(Utils.scala:54)
	at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471)
	at java.util.concurrent.FutureTask.run(FutureTask.java:262)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
	at java.lang.Thread.run(Thread.java:745)
午後12:41:52.816 	INFO 	kafka.server.KafkaServer
[Kafka Server 34], shutting down

この .gnome2 ディレクトリが悪さをしているようです。こんなファイル作ってないのに、、と思いながら、ファイルを削除して、
[shell]
$ sudo rm -r /var/lib/kafka/.gnome2
[/shell]
続行してみたところ、うまくいきました!
kafka_setup2 kafka_setup3
Kafkaサービスもグリーンになっています。
kafka_setup4 kafka_setup5
いやいや、うまくセットアップできて満足です 🙂
 
 

コメント

  1. […] 昨年Cloudera Labで実験目的でダウンロードできるようになっていたのでKafkaのインストールを試したことがありました(過去ログ1 2 3 )が、晴れて卒業して正式サポートになりました。 […]