Hadoopのネットワークトラフィックを可視化してみた

Hadoopのトラフィック

Hadoopのノード間通信トラフィックは、HDFSのブロックのやりとりや、MapReduceのシャッフル&ソート間で大量に行われます。
クリスマスなので、これを可視化して美しく(?)表示してみましょう。
LinuxにはEtherApe(http://etherape.sourceforge.net/)というツールがあります。これを使うと、下記のようにグラフィカルに通信を可視化できます。
EtherApe
ということで、Youtubeに動画を上げてみました。この動画はたった4ノードですが、巷のHadooperの皆さんは、もっと大規模環境でノードの点滅を眺めながらクリスマスを過ごしてみてはいかがでしょうか? 🙂