Spark Casual Talk #1でライトニングトークしてきました

昨日行われたSpark Casual Talk #1で「カジュアル」なライトニングトークをしてきました。資料は下記からどうぞ。(本番はもう少し過激な内容でしたが、、)
LTではLearning Sparkの宣伝に注力しすぎてしまったので、ちょっと言い足りなかったことの補足を。
HueのノートブックがZeppelinやJupyter/IPython Notebookと比べて知名度が低いのは否めませんが、Hadoopのエコシステムと連携するのには向いていると思います。例えば、以下のようなケース:

  • ノートブックでpythonでSparkの処理をREPLで書いてHDFSに出力し、そのファイルを見たい、ダウンロードしたい
  • ノートブックからSparkで処理した内容をImpalaで分析したい
  • OozieでSparkのアプリも実行したい

これらの用途だと、JupyterやZeppelinだけで実現するのは難しいです。Hueを使えば既存のHadoopクラスタに、個々のユーティリティをインストールしてメンテナンスする必要はありません。
※とはいえ、ZeppelinもJyupiter/IPython Notebookも便利ですよね〜。状況に応じて使い分けが必要になりそう。(あとは、どこまでコミュニティが成熟して利用者が増えるかですね)

イベントの感想

  • カジュアルじゃなかった。Sparkを知らない人はツラかったんじゃないかな
  • Sparkを使っている/使ったことがある人は、思っていたよりも少なかった
    • (Sparkのイベントという点で)
  • Hueを使っている/知っている人は20人ぐらい… そんなものかな

明日はHBase Meetup Tokyo Summer 2015 で司会です..

参考資料

Spark Casual Talk #1: http://connpass.com/event/15575/
Togetterまとめ: http://togetter.com/li/838406
当日のLTの資料: http://www.slideshare.net/kernel023/hue-notebook
 

コメント