Spark Casual Talk #1でライトニングトークしてきました

hue

2015.06.24

昨日行われたSpark Casual Talk #1で「カジュアル」なライトニングトークをしてきました。資料は下記からどうぞ。（本番はもう少し過激な内容でしたが、、）
LTではLearning Sparkの宣伝に注力しすぎてしまったので、ちょっと言い足りなかったことの補足を。
HueのノートブックがZeppelinやJupyter/IPython Notebookと比べて知名度が低いのは否めませんが、Hadoopのエコシステムと連携するのには向いていると思います。例えば、以下のようなケース：

ノートブックでpythonでSparkの処理をREPLで書いてHDFSに出力し、そのファイルを見たい、ダウンロードしたい
ノートブックからSparkで処理した内容をImpalaで分析したい
OozieでSparkのアプリも実行したい

これらの用途だと、JupyterやZeppelinだけで実現するのは難しいです。Hueを使えば既存のHadoopクラスタに、個々のユーティリティをインストールしてメンテナンスする必要はありません。
※とはいえ、ZeppelinもJyupiter/IPython Notebookも便利ですよね〜。状況に応じて使い分けが必要になりそう。（あとは、どこまでコミュニティが成熟して利用者が増えるかですね）