未分類

Kudu

Apache Kuduを10分で試す(3) Spark編

Apache Kuduを10分で試すシリーズの3回目です。前回のブログに続き、今回は Spark からKuduにデータを書き込むチュートリアルを試してみましょう。 Kudu-Sparkのクイックスタートはこちらから参照...
未分類

OOM Killerが盛り上がっている

なぜかtwitterのTLでOOM Killer が空前の盛り上がり。 #OOM Killerたんって、、、何?(笑 その中にOOM Killerの解説についてのツイートがあったので少し紹介。 An aircraft company di...
未分類

MapReduceの投機的実行の発動条件

CDH3とCDH4.1.2で投機的実行がいつ発生するかを調査した。メソッド名が変更となっているので注意が必要。 CDH3 org/apache/hadoop/mapred/TaskInProgress.java /** * Retu...
未分類

続)Cloudera Impala 情報 (14)

Impala情報 2013/1/24版 ニュース Impala-ruby (github) Impalaのruby版クライアント
未分類

続)Cloudera Impala 情報 (13)

Impala情報 2013/1/21版 ニュース Hadoop User Conference Japan 2013 Winter Impalaの講演もあります。 PublicKey: Hadoop創始者 Doug Cuttingのメ...
未分類

続)Cloudera Impala 情報 (12)

Impala情報 2013/1/10版 ニュース Cloudera Impalaセミナー資料 2013/1/8に実施されたセミナーの資料が公開されました!
未分類

Hadoopのネットワークトラフィックを可視化してみた

Hadoopのトラフィック Hadoopのノード間通信トラフィックは、HDFSのブロックのやりとりや、MapReduceのシャッフル&ソート間で大量に行われます。 クリスマスなので、これを可視化して美しく(?)表示してみましょう。 Linu...
未分類

Hadoopのノード間通信(1)

Hadoop アドベントカレンダー 23日目 Hadoopのマスターノードとスレーブノード各デーモン間では定期的にハートビート通信を行っています。(例:NameNode-DataNode, JobTracker-TaskTracker) こ...
未分類

ARM Server Dayに参加しました

ARM Server Day 第一回 本日はさくらインターネット研究所で実施されたイベントに@naoto_matsumotoさんからお誘いいただき参加してきました。 背景 前職ではkernelやdriverのコードを読む機会が多かったことと...
未分類

続)Cloudera Impala 情報 (10)

Impala情報 2012/12/14版 ロードマップ登場 Clouderaから日本語訳が出ると思うので、ここでは概要のみ。リリースは2013Q1とのことなので、3月ぐらいでしょうか? GAでの対応予定 ファイルフォーマット:Avro...