hdfs HDFSのヘテロジニアス（非均一）ストレージ構成
９日目です（土日に書くのは休むことにしました）ご存知の通り、HDFSはマスターとスレーブ群から構成されます。スレーブノードを大量に用意することで、膨大なデータを蓄積することができます。現状のHDFSでは、個々のデータノードが持っているストレ...
kernel023
hdfs hue Hue3.5リリース
ちょっと遅れましたが6日目です。昨日Hue 3.5がリリースされました。今までgithubからソースを落としてビルドしていましたが、バイナリを使ってみましょう。
MapReduce MRv1におけるフェアスケジューラでのプリエンプション
5日目です3日目に書いたMapReduceのスケジューラでうち、フェアスケジューラには「プリエンプション」という設定ができます。この設定をすることで、例えば緊急度の高くない長時間実行されているタスクを強制的にKillして、すぐに実行する必要...
Cloudera Manager それもCloudera Managerでできるよ
この顔（）を見て辿り着いた方への補足：Cloudera World Tokyo 2013で @shiumachi 氏が講演していた資料のリンク。残念ながら写真はない。当日のその他の資料はこちらからどうぞ。
hive HueでCSVデータからHiveのテーブルを作る
(2018/12/26更新) HueでCSVからHiveテーブルを作る方法については、新しいブログ記事があります
４日目です。
本日はHadoopアドベントカレンダー2013の立候補がいないようなので、あえて書く@chop...
hadoop MapReduce v1のスケジューリングアルゴリズム
３日目です。本日のHadoopアドベントカレンダー2013は@shiumachi氏の「HBase 0.96 で導入される新しいコンパクション「Exploring Compaction」」です。コンパクションも進化しているということがわかりま...
cloudera HDFSとMapReduceのハートビートの設定
2日目です。書き溜めた技術情報を書き続けてみるテスト中。技術ネタHDFSのハートビートなどa) ハートビート(デフォルト3秒: dfs.heartbeat.interval)1) DataNodeからNameNodeに一定間隔で送付さ...
hadoop 2013年の象(Hadoop)四方山話
Hadoopアドベントカレンダー2013、１日目です。みんな大好き、かわいい象のマスコット（画像）でお馴染みのApache Hadoop（以下Hadoop）。運良く初日を取れたので、2013年のHadoop関連の話題をまとめてみました。※こ...
hadoop Hadoopオペレーション（パカ本）、日本語版発売！
本日、オライリーさんからHadoopオペレーションが発売されました！
MapReduce JobTracker Higth Availability
なぜかJobTracker Recoveryページへのアクセスが多いので、JobTracker HA（高可用性JobTracker）についても再度触れておきます。以前書いたように、CDH4.2以降では JobTrackerを高可用性にするこ...