未分類 OOM Killerが盛り上がっている
なぜかtwitterのTLでOOM Killer が空前の盛り上がり。＃OOM Killerたんって、、、何？（笑その中にOOM Killerの解説についてのツイートがあったので少し紹介。An aircraft company discov...
未分類 未分類 MapReduceの投機的実行の発動条件
CDH3とCDH4.1.2で投機的実行がいつ発生するかを調査した。メソッド名が変更となっているので注意が必要。CDH3org/apache/hadoop/mapred/TaskInProgress.java /** * Return w...
未分類 続）Cloudera Impala 情報 (14)
Impala情報 2013/1/24版ニュース Impala-ruby (github)Impalaのruby版クライアント
未分類 続）Cloudera Impala 情報 (13)
Impala情報 2013/1/21版ニュース Hadoop User Conference Japan 2013 WinterImpalaの講演もあります。 PublicKey: Hadoop創始者 Doug CuttingのメッセージG...
未分類 続）Cloudera Impala 情報 (12)
Impala情報 2013/1/10版ニュース Cloudera Impalaセミナー資料2013/1/8に実施されたセミナーの資料が公開されました！
Uncategorized 続）Cloudera Impala 情報 (11)
Impala情報 2013/1/9版ニュース Impalaのwebinar 1/10 11:00PST（1/11 3:00 JST?) Cloudera Impala: A Modern SQL Engine for Hadoop。英語のW...
未分類 Hadoopのネットワークトラフィックを可視化してみた
HadoopのトラフィックHadoopのノード間通信トラフィックは、HDFSのブロックのやりとりや、MapReduceのシャッフル＆ソート間で大量に行われます。クリスマスなので、これを可視化して美しく（？）表示してみましょう。Linuxには...
未分類 Hadoopのノード間通信(1)
Hadoop アドベントカレンダー 23日目Hadoopのマスターノードとスレーブノード各デーモン間では定期的にハートビート通信を行っています。（例：NameNode-DataNode, JobTracker-TaskTracker)この間...
未分類 ARM Server Dayに参加しました
ARM Server Day 第一回本日はさくらインターネット研究所で実施されたイベントに@naoto_matsumotoさんからお誘いいただき参加してきました。背景前職ではkernelやdriverのコードを読む機会が多かったことと、また...
未分類 続）Cloudera Impala 情報 (10)
Impala情報 2012/12/14版ロードマップ登場Clouderaから日本語訳が出ると思うので、ここでは概要のみ。リリースは2013Q1とのことなので、３月ぐらいでしょうか？GAでの対応予定 ファイルフォーマット：AvroとTextF...