SparkのWeb UIを調べてみた

SparkのWeb UIに記載されている項目の意味について(日本語で)まとまっている情報がなかったのでまとめてみました。(Spark 1.6ベース)

Spark 2.xへの対応と、SparkSQL、SparkStreamingは別途記載する予定。

間違いを見つけたらコメントお願いします。m(__)m

下記のスクリーンショットは原則としてDFSReadWriteTestサンプルを用いて実行し、網羅できない範囲はサンプルコードを用いて実行しています。スクリンショットをクリックするとポップアップします。

目次

1. メイン画面
2. ジョブの詳細
3. ステージの詳細
4. 永続化に関する情報 (Storage)
5. 環境 (Environment)
6. エグゼキュタ (Executors)
7. 参考資料