昨日行われたSpark Casual Talk #1で「カジュアル」なライトニングトークをしてきました。資料は下記からどうぞ。(本番はもう少し過激な内容でしたが、、)
LTではLearning Sparkの宣伝に注力しすぎてしまったので、ちょっと言い足りなかったことの補足を。
HueのノートブックがZeppelinやJupyter/IPython Notebookと比べて知名度が低いのは否めませんが、Hadoopのエコシステムと連携するのには向いていると思います。例えば、以下のようなケース:
- ノートブックでpythonでSparkの処理をREPLで書いてHDFSに出力し、そのファイルを見たい、ダウンロードしたい
- ノートブックからSparkで処理した内容をImpalaで分析したい
- OozieでSparkのアプリも実行したい
これらの用途だと、JupyterやZeppelinだけで実現するのは難しいです。Hueを使えば既存のHadoopクラスタに、個々のユーティリティをインストールしてメンテナンスする必要はありません。
※とはいえ、ZeppelinもJyupiter/IPython Notebookも便利ですよね〜。状況に応じて使い分けが必要になりそう。(あとは、どこまでコミュニティが成熟して利用者が増えるかですね)
イベントの感想
- カジュアルじゃなかった。Sparkを知らない人はツラかったんじゃないかな
- Sparkを使っている/使ったことがある人は、思っていたよりも少なかった
- (Sparkのイベントという点で)
- Hueを使っている/知っている人は20人ぐらい… そんなものかな
明日はHBase Meetup Tokyo Summer 2015 で司会です..
参考資料
Spark Casual Talk #1: http://connpass.com/event/15575/
Togetterまとめ: http://togetter.com/li/838406
当日のLTの資料: http://www.slideshare.net/kernel023/hue-notebook
コメント