未分類 CDH4の仮想マシンをCDH4.1にアップデート 本日CDH4.1 (Cloudera's Distribution including Apache Hadoop) がリリースされました。(*1) 今回のリリースでは NameNode-HAの編集ログがQuorumベースのストレージ領... 2012.10.03 未分類
未分類 CDHでHadoopを開始するには 巷の書籍/ウェブサイトをみると、Hadoopの開始には start-all.sh を使用するように書かれていることが多いですが、CDHをパッケージからインストールした場合に上記のコマンドの実行は必須ではありません。 例えばRHEL/Cent... 2012.09.11 未分類
未分類 JobTracker Recovery CDH3u5ではJobTracker Recovery機能に対応しています。 この機能は、MapReduceでジョブを実行中にJobTrackerに障害が発生した場合、JobTrackerの再起動後に該当するジョブをリカバリしてくれると... 2012.08.17 未分類
未分類 HDFSのディスク使用量表示の謎 HadoopのHDFSの使用量をコマンドラインから確認するには、 hadoop fsck / hadoop dfsadmin -report などを使用する方法があります。ところが、これらのツールで表示される結果が少し異なって表示さ... 2012.08.17 未分類
MapReduce MapReduceの中間データを保持する MapReduceでジョブの実行時に生成される中間データは、ジョブの終了時に削除されます。これにより不要なデータは削除され、ディスク容量が圧迫されることがなくなります。 しかし、デバッグのために中間データを保持しておきたいと言うこともあるで... 2012.08.15 MapReduce
未分類 Hadoopデーモンの設定を表示する Hadoopの各デーモンにはwebuiがありますが、オプションを渡すことにより、稼働中のデーモンの設定を表示することができます。 JobTrackerでの例: スクリーンショット webUIから表示できるのは意外と知られていないような気... 2012.08.15 未分類
未分類 MBPのメモリ増設メモ 同僚がMacBook Proのメモリを16GB増設したときに行った作業の備忘録です。 (物理的に)メモリ増設 PRAMクリア(*1) シャットダウン Command+Option+P+Rを押しながら電源ON 自動で再起動するの... 2012.08.10 未分類
未分類 PageCacheとSwap 数年前に書いたLinux KernelのPageCacheとSwapの資料を発見したので、slideshareで公開します。 若干古いですが参考になれば。もし間違いがあればご指摘ください。 pagecache-memo from... 2012.07.19 未分類
未分類 Hadoop使いのためのRPMの便利な使い方5つ Hadoopにどっぷりつかってもうすぐほぼ一年。去年の今頃はKVMやCluster、Linuxのパフォーマンスチューニングやらで休む暇もなかったわけですが、今年はより自転車操業的生活を送っています。 - * - * - * - さて、Had... 2012.07.04 未分類