hadoop-logo
ようこそ Tech blogへ!
「これからHadoopを勉強しよう」という方はまず下記のページから

サイトの移行に伴って画像が表示されないなどの不具合が生じています

2012-12

未分類

Hadoopのネットワークトラフィックを可視化してみた

Hadoopのトラフィック Hadoopのノード間通信トラフィックは、HDFSのブロックのやりとりや、MapReduceのシャッフル&ソート間で大量に行われます。 クリスマスなので、これを可視化して美しく(?)表示してみましょう。 Linu...
未分類

Hadoopのノード間通信(1)

Hadoop アドベントカレンダー 23日目 Hadoopのマスターノードとスレーブノード各デーモン間では定期的にハートビート通信を行っています。(例:NameNode-DataNode, JobTracker-TaskTracker) こ...
未分類

ARM Server Dayに参加しました

ARM Server Day 第一回 本日はさくらインターネット研究所で実施されたイベントに@naoto_matsumotoさんからお誘いいただき参加してきました。 背景 前職ではkernelやdriverのコードを読む機会が多かったことと...
未分類

続)Cloudera Impala 情報 (10)

Impala情報 2012/12/14版 ロードマップ登場 Clouderaから日本語訳が出ると思うので、ここでは概要のみ。リリースは2013Q1とのことなので、3月ぐらいでしょうか? GAでの対応予定 ファイルフォーマット:Avro...
未分類

続)Cloudera Impala 情報 (9)

Impala情報 2012/12/6版 Daily update An Introduction to Impala – Low Latency Queries for Apache Hadoop 作者 Marcelのプレゼン動画 (5...
未分類

Cloudera Impala情報(まとめ)

Impalaに関する情報も増えて来たが、Hadoopアドベントカレンダーに備えてここで一旦まとめておく。 Cloudera Impala情報まとめ Impalaとは Cloudera Impalaとは、Apacheライセンスで公開されてい...