#某24日目のブログ(になるかもしれず、ならないかもしれず)です。
Cloudera 5.3.0 が公開されたのとタイミングを同じくして、Cloudera LaboでApache Kafka 0.8.2 のパッケージが公開されていました。前回 Cloudera Quickstart VMを使ってセットアップにに失敗しましたが、新しいバージョンならうまくいくに違いない、と都合のいいことを考えて、新しいバージョンを使ってインストールしてみました。
基本的なKafkaのセットアップ手順は先日のブログをご覧下さい。
公開されていた Parcel のバージョンはCLABS_KAFKA 0.8.2-1 でした。
Parcelをアクティブ化し、続いてKafkaサービスを追加します。
ウィザードに従いセットアップしていくと、、、またもや失敗。
が、歳を取った分少し学習したので、今回はまじめにログを調べてみることに。
上記の画面から「ロールのログの詳細」のリンクを見てみたところ、下記のようなエラーメッセージが出ていました。
午後2:41:52.812 ERROR kafka.log.LogManager There was an error in one of the threads during logs loading: kafka.common.KafkaException: Found directory /var/lib/kafka/.gnome2, '.gnome2' is not in the form of topic-partition If a directory does not contain Kafka topic data it should not exist in Kafka's log directory 午後12:41:52.814 FATAL kafka.server.KafkaServer [Kafka Server 34], Fatal error during KafkaServer startup. Prepare to shutdown kafka.common.KafkaException: Found directory /var/lib/kafka/.gnome2, '.gnome2' is not in the form of topic-partition If a directory does not contain Kafka topic data it should not exist in Kafka's log directory at kafka.log.Log$.throwException(Log.scala:846) at kafka.log.Log$.parseTopicPartitionName(Log.scala:834) at kafka.log.LogManager$$anonfun$loadLogs$2$$anonfun$3$$anonfun$apply$7$$anonfun$apply$1.apply$mcV$sp(LogManager.scala:137) at kafka.utils.Utils$$anon$1.run(Utils.scala:54) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471) at java.util.concurrent.FutureTask.run(FutureTask.java:262) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) at java.lang.Thread.run(Thread.java:745) 午後12:41:52.816 INFO kafka.server.KafkaServer [Kafka Server 34], shutting down
この .gnome2 ディレクトリが悪さをしているようです。こんなファイル作ってないのに、、と思いながら、ファイルを削除して、
[shell]
$ sudo rm -r /var/lib/kafka/.gnome2
[/shell]
続行してみたところ、うまくいきました!
Kafkaサービスもグリーンになっています。
いやいや、うまくセットアップできて満足です 🙂
コメント
[…] 昨年Cloudera Labで実験目的でダウンロードできるようになっていたのでKafkaのインストールを試したことがありました(過去ログ1 2 3 )が、晴れて卒業して正式サポートになりました。 […]