YARNとKafkaの短編動画

YARNのチューニングってわかりにくいですよね?このシリーズの動画は割と分かりやすいと思います。同様に、Kafkaって何?って人にはすごく分かりやすい動画。

  • Tuning YARN Applications
  • Quotas: Cloudera Distribution of Apache Kafka

動画でも紹介されていますが、リソース管理のパラメータの設定を行うためのスプレッドシート、これ便利!おすすめです。

http://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_yarn_tuning.html

シリーズ6本の動画が公開されていますが、左上のメニューから選択できます。(インラインではうまく貼れませんでした)

両方とも10分もないのでお時間のあるときにどうぞ〜

(続)Apache Kafkaを試す

(2015/2/19追記: 解決したので更新しました)

※VMのダウンロード時間、展開時間、その他を含めると2時間49分ぐらいかかるもしれませんが、、、(笑

CDHにKafkaが追加

さて、本日アナウンスがありましたが、CDHのコンポーネントにApache Kafkaが加わりました。

kafka_overviewApache Kafkaの公式ページを引用すると、Kafkaは「高スループット分散メッセージシステム(A high-throughput distributed messaging system)」とでも呼べば良いでしょうか。Fast, Scalable, Durable Distributed by Designと記載されています。LinkedInで開発され、既にYahoo!やTwitter、Netflixなど多くの企業で使われています。(リスト (続きを読む)

Apache Kafkaをセットアップ(解決)

#某24日目のブログ(になるかもしれず、ならないかもしれず)です。

Cloudera 5.3.0 が公開されたのとタイミングを同じくして、Cloudera LaboでApache Kafka 0.8.2 のパッケージが公開されていました。前回 Cloudera Quickstart VMを使ってセットアップにに失敗しましたが、新しいバージョンならうまくいくに違いない、と都合のいいことを考えて、新しいバージョンを使ってインストールしてみました。

(続きを読む)

Apache Kafkaをセットアップ(途中まで)

Hadoop関連(全部俺) Advent Calendar 2014:21日目の記事です

Apache KafkaはLinkedInで開発された分散型のメッセージングシステムで、大量のイベントとログデータを低レイテンシで収集/配信するために使用できます。最近 Apache Flume と連携した Flafkaなどが登場しているので、徐々に使いやすくなりそうです。勉強しなければ、、、

ということで、今回も愛用している Cloudera Quickstart VM の環境に Kafka をセットアップします。 (続きを読む)