未分類 Apache Mesos 終焉?
Apache Mesos分散システムでは、複数のコンピュータのリソース（CPUやメモリ）の管理、スケジューリングを行う必要があります。一襟として、Apache Hadoop にもリソース管理が含まれ、 YARN コンポーネントがその役目を担...
未分類
未分類 
Kudu Apache Kuduを10分で試す（3） Spark編
Apache Kuduを10分で試すシリーズの3回目です。前回のブログに続き、今回は Spark からKuduにデータを書き込むチュートリアルを試してみましょう。
Kudu-Sparkのクイックスタートはこちらから参照できます。こ...
未分類 OOM Killerが盛り上がっている
なぜかtwitterのTLでOOM Killer が空前の盛り上がり。＃OOM Killerたんって、、、何？（笑その中にOOM Killerの解説についてのツイートがあったので少し紹介。An aircraft company discov...
未分類 MapReduceの投機的実行の発動条件
CDH3とCDH4.1.2で投機的実行がいつ発生するかを調査した。メソッド名が変更となっているので注意が必要。CDH3org/apache/hadoop/mapred/TaskInProgress.java /** * Return w...
未分類 続）Cloudera Impala 情報 (14)
Impala情報 2013/1/24版ニュース Impala-ruby (github)Impalaのruby版クライアント
未分類 続）Cloudera Impala 情報 (13)
Impala情報 2013/1/21版ニュース Hadoop User Conference Japan 2013 WinterImpalaの講演もあります。 PublicKey: Hadoop創始者 Doug CuttingのメッセージG...
未分類 続）Cloudera Impala 情報 (12)
Impala情報 2013/1/10版ニュース Cloudera Impalaセミナー資料2013/1/8に実施されたセミナーの資料が公開されました！
未分類 Hadoopのネットワークトラフィックを可視化してみた
HadoopのトラフィックHadoopのノード間通信トラフィックは、HDFSのブロックのやりとりや、MapReduceのシャッフル＆ソート間で大量に行われます。クリスマスなので、これを可視化して美しく（？）表示してみましょう。Linuxには...
未分類 Hadoopのノード間通信(1)
Hadoop アドベントカレンダー 23日目Hadoopのマスターノードとスレーブノード各デーモン間では定期的にハートビート通信を行っています。（例：NameNode-DataNode, JobTracker-TaskTracker)この間...
未分類 ARM Server Dayに参加しました
ARM Server Day 第一回本日はさくらインターネット研究所で実施されたイベントに@naoto_matsumotoさんからお誘いいただき参加してきました。背景前職ではkernelやdriverのコードを読む機会が多かったことと、また...