HBase勉強会に参加しました

HBase勉強会 (Meetup)

Apache HBaseのPMC (Project Management Committees: Committerを束ねるような立場のような人)でもあるClouderaのエンジニア、Jonathan Heish氏がCloudera World Tokyo 2013のために来日しており、せっかくの機会なのでHBase勉強会が催されました。多分、HBase界では5本の指に入るような凄い人です。
今回は通訳なし、HBaseをそれなりに知っているという前提条件での実施のため、かなり突っ込んだ話でした。
特にアジェンダを設けず、参加者が興味のあることについてJonが話す、という進め方でしたが、おおまかには

  1. HFile v3について
  2. MTTRについて
  3. HBaseスナップショットについて

の3つについて質疑応答を交えながらのセッションとなりました。(3つの話題だけでタイムオーバー)
1.はHFile v3で導入されたセルにタグを付ける機能。これにより、セキュリティを強化できるようになります。
2.はMTTR (Mean Time to Recovery)。HBaseではリージョンサーバーの障害発生時、別のリージョンサーバーがリージョンを引き継ぐまでにかなりの時間がかかっていたのですが、HBase 0.92、0.96でどのように改善されているのか。また、今後どのように改善しようとしているのかという話でした。これは全てのHBaseユーザーにとって嬉しい機能です。
3.はスナップショット。これも嬉しいですね。Causal Consistencyについて議論がありました。
感想ですが、非常に良かったです。有償でも聞きたいレベル。英語力には全く自信がないのでどこまでわかっているのかイマイチ怪しいのですが、Jonathanの半端ない知識を目のあたりにできたこと、開発者としてHBsaeの弱点をきちんとわかっていて、コミュニティとしてでどのように対応してきたか、今後どのような方向で対応しようとしているのかを聞けたことは収穫でした。
設計上の制約を改善するために、設計を見直して一から作り直すということはもちろん選択肢の一つです。しかし、そうしてしまうと全く新しいものになり、今まで培ってきたものを捨て去ることになります。HBaseには既に多くのユーザーがいるので、根本的な設計を見直しをするのではなく、現状の弱い部分を改善し、新しいものを取り入れている(ということを言っていた気がする。間違ってたらご指摘下さい>英語に堪能な参加者の皆さん)
また、OSSはコミュニティに多くの開発者がいるので、何かあっても多くの人が助けてくれるよ!ということを懇親会で言ってました(笑
とにかく有意義な勉強会でした。来年のCloudera World Tokyoではこういう超濃い技術セッションが聞きたいなぁ

参考資料

Strata+Hadoop World 2013の資料はここから入手可能のようです。HFile v3とスナップショットはHBaseCon 2013のスライドがベースのようなので、あとで読む!
2013/11/11補足:
Compactionについての話題が漏れていました。HBASE-7842のExploring Compactorの話。
HBaseではマイナー/メジャーコンパクション(強いて言えばその前にメムストアをフラッシュする)がありますが、どちらのコンパクションにするかを「Explore」するもので、バルクロードなどのワークロードでは効果を発揮するとのこと。既にデフォルトで有効になっているようです。良い改善ですね。
 

コメント