HBase Meetup Tokyo Summer 2015に参加してきました

表記のイベントに参加してきました。(ついでに言うと、司会してきました)

『HBase Meetup Tokyo Summer 2015』#hbasejp

http://www.zusaar.com/event/14057003
hbase_meetup個人的には大当たりなイベントでした。
200名を超える申し込み、豪華なスピーカー。ツイッターにも書きましたが有償でやってもいいぐらいのクオリティだったと思います。
印象としては

  • セッションの内容がバラエティに富んで幅広い
  • ここで初めて聞くような内容のセッションが多い
  • 技術一辺倒ではなく事例の話も多い
  • 一方、HBaseのテーブル設計や、システムの構成などの技術的に参考になる情報が多い
  • みんな話が上手い。
    • 見習わないと、、、

今回だけじゃなく、次回もやってくれないかな。
セッションのスライド等は追って公開されると思いますが、個人的な雑感などを簡単にまとめてみます。ただ、今回はセッションが面白すぎて、ほとんどメモが取れませんでした。スライドの公開に期待です。
強いて言えば、HBaseというと「テーブル設計」と「監視、運用」が極めて重要なので、どのように行っているのかをもう少し聞きたかったかなと。
HBaseに標準で搭載されているwebuiだけでは機能不足だし、GangliaやZabbixで作り込んでいたり、Cloudera Managerあたりを使っているんでしょうか? 障害時等のログの調査など、皆さんどうされているのか気になるところです。
なお、Togetterのまとめはこちらです。
http://togetter.com/li/839475

雑感

ご挨拶、HBaseCon 2015報告

Cloudera株式会社 小林大輔さん(スライド
HBaseCon 2015のセッションのトピックについて。HBase 1.0.0 に至るまでの流れや1.0.0で導入された機能などについてを簡単に紹介。世界を相手に活躍しているサポートエンジニアの視点での話は説得力があります。個人的にはHBaseのドキュメントが劇的に見やすくなった話に共感しました。

HBaseCon 2015で発表してきた

株式会社サイバーエージェント 柿島大貴さん(スライド)、鈴木俊裕さん(スライド
柿島さんは今年のHBaseCon 2015で発表した経験を生かし、発表までのプロセスを紹介していただきました。来年参加しようと思っている方に向けたメッセージがアツかったです。来年CFPは12月頃じゃないかととのこと。参加に興味を持っている方は直接話を聞いてみると良いかもしれませんね。
鈴木さんは実際にHBaseConで発表された内容を日本語で。グラフをHBaseでどう実現しているのかについての話でした。テーブル設計も興味深かったですが、特に障害発生時の整合性を回復させるため、コプロセッサを使ってWALから復旧するところがすごいなぁと。しかしHBaseを運用していてコプロセッサを積極的に利用しているユーザはどれほどいるんだろう?

100億メッセージ/日超のサービスを支えるHBase運用におけるチャレンジ

LINE株式会社 坂井隆一さん
LINEでは100億メッセージを捌くため、RedisとHBaseを活用していると語る坂井さん。複数クラスタがあり、500ノードのクラスタは11PB!。クラスタにはCDH3u6 (HBase 0.90.6 !!) を使って運用しているものも多いようです。このバージョンを使ってこの規模で運用しているのはすごい技術力です。ホント。。セルフパッチをあてながらだと思いますが、なかなかバージョンアップできない環境とはいえ本当にすごい。(が、つらそう。。)GCとの戦いのお話も印象的でした。涙。

HBaseSparkで、センサーデータを有効活用

株式会社フォワードネットワーク 高原 歩さん (スライド
センサーデバイスからHBaseにデータを取り込み、MapReduceやSparkで分析しているというお話でした。価格を抑えるために民生品を使い、ZigBeeなどからBluetoothでスマートフォンにデータを転送し、WiFi(だっけ?)でHBaseに取り込んでいるとのこと。デモサイトはhttp://sbsdemo.fward.net/。Sparkを使った事例って増えてくるんでしょうね。そういえば、飲食店の空席管理システムの事例の紹介がありましたが、人感センサーって電池一つで1年も持つんですねぇ。(HBaseとは関係ありませんが)。IoT時代は近いんでしょうね。

リクルート式HBaseの使い方

株式会社リクルートテクノロジーズ 池田裕一さん (スライド
オフラインでレコメンド処理をやっているが、直近のユーザに対するレコメンド処理が行えないのでHBaseを利用することにした、というお話でした。HBaseでレコメンドって新鮮な感じでしたがどうなんでしょうね。98ノード、1PB、1日あたり1038万クエリとかなり大規模。(このサイズはHBaseクラスタだけではないかも)バルクロード時にZookeeperを使って切り替える仕組みはよく考えられていると思いました。新しいエコシステムなどを追加するのでなく、既存の仕組みをうまく生かしているという話はとても参考になります。

HBase×Impalaで作るアドテク「GMOプライベートDMP」

GMOアドパートナーズ株式会社 片野 道雄さん(スライド
データ移動をさせずに1システム内で処理をさせるため、HBaseとImpalaを使っているとのことです。HBaseにImpalaのSQLを直接投げるのではなく、前段でキューイングしてから投げるという構成。Impalaに一気にクエリを送らないためとのことですが、これはいいですね。参考になります。億を超える規模のレコード数のHBaseのテーブルとParquetのテーブルを複数ジョインしてImpalaでクエリしているとのことですが、1クエリあたり1.5秒程度で結果が返ってくるとのこと。かなり早いですね。Impala+Parquetが早いのは知っているんですが、HBaseへのクエリもこのパフォーマンスなら十分いけますね。GMOアプリクラウド上に構築。物理サーバではないようです。
※スライドが公開されたので、詳細はそちらをどうぞ。
 
LTはあまり聞いてなかったです。すいません。

  • オープンデータの地震データと火山データをHBaseに取り込み、Cloudera Search (Solr)で地図に可視化するというお話 Cloudera嶋内さん (資料1資料2
  • MapR-DBの話 MapR草彅さん
  • HDFSの話 Hortonworks蒋さん

スピーカーのみなさんお疲れ様でした!

“HBase Meetup Tokyo Summer 2015に参加してきました” への1件の返信

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です