hadoop

HBase 0.94 での ResionServer Queue dump 機能

CDH4.2ではHBaseのバージョンが0.92.1->0.94.2へと変更になっています。主な変更点は を参照して下さい。今回はちょっとした機能についてご紹介します。 Resion Server Queue dump リージョンサー...
hadoop

JobTracker HA

本日 CDH4.2 がリリースされました(リリースノート)が、その中の目玉機能としてあげられるのが JobTracker HA でしょう。 従来 Hadoop には、下記の SPOF (単一障害点)があると言われていました。 1. Name...
hadoop

続)Cloudera Impala 情報 (15)

Impala情報 2013/2/26版 ニュース HUGで発表されたImpalaのスライド 2013/1/30版 Inside Cloudera Impala: Runtime Code Generation:Impalaの実行時コ...
hadoop

HDFSのfsimageとeditsの変更

HadoopのHDFSでは、NameNodeと呼ばれるノードがメタデータをディスク上に記録します。Hadoopのバージョンが上がりこれらのファイル名(と意味合い)が変更されていますが、象本3版(英語)にも反映されていません。 CDH3とCD...
未分類

OOM Killerが盛り上がっている

なぜかtwitterのTLでOOM Killer が空前の盛り上がり。 #OOM Killerたんって、、、何?(笑 その中にOOM Killerの解説についてのツイートがあったので少し紹介。 An aircraft company di...
未分類

MapReduceの投機的実行の発動条件

CDH3とCDH4.1.2で投機的実行がいつ発生するかを調査した。メソッド名が変更となっているので注意が必要。 CDH3 org/apache/hadoop/mapred/TaskInProgress.java /** * Retu...
未分類

続)Cloudera Impala 情報 (14)

Impala情報 2013/1/24版 ニュース Impala-ruby (github) Impalaのruby版クライアント
未分類

続)Cloudera Impala 情報 (13)

Impala情報 2013/1/21版 ニュース Hadoop User Conference Japan 2013 Winter Impalaの講演もあります。 PublicKey: Hadoop創始者 Doug Cuttingのメ...
未分類

続)Cloudera Impala 情報 (12)

Impala情報 2013/1/10版 ニュース Cloudera Impalaセミナー資料 2013/1/8に実施されたセミナーの資料が公開されました!
Uncategorized

続)Cloudera Impala 情報 (11)

Impala情報 2013/1/9版 ニュース Impalaのwebinar 1/10 11:00PST(1/11 3:00 JST?) Cloudera Impala: A Modern SQL Engine for Hadoop。...