未分類 CDH4の仮想マシンをCDH4.1にアップデート
本日CDH4.1 (Cloudera's Distribution including Apache Hadoop) がリリースされました。(*1)
今回のリリースでは
NameNode-HAの編集ログがQuorumベースのストレージ領...
未分類 未分類 CDHでHadoopを開始するには
巷の書籍／ウェブサイトをみると、Hadoopの開始には
start-all.sh
を使用するように書かれていることが多いですが、CDHをパッケージからインストールした場合に上記のコマンドの実行は必須ではありません。
例えばRHEL/Cent...
未分類 JobTracker Recovery
CDH3u5ではJobTracker Recovery機能に対応しています。
この機能は、MapReduceでジョブを実行中にJobTrackerに障害が発生した場合、JobTrackerの再起動後に該当するジョブをリカバリしてくれると...
未分類 HDFSのディスク使用量表示の謎
HadoopのHDFSの使用量をコマンドラインから確認するには、
hadoop fsck /
hadoop dfsadmin -report
などを使用する方法があります。ところが、これらのツールで表示される結果が少し異なって表示さ...
MapReduce MapReduceの中間データを保持する
MapReduceでジョブの実行時に生成される中間データは、ジョブの終了時に削除されます。これにより不要なデータは削除され、ディスク容量が圧迫されることがなくなります。
しかし、デバッグのために中間データを保持しておきたいと言うこともあるで...
未分類 Hadoopデーモンの設定を表示する
Hadoopの各デーモンにはwebuiがありますが、オプションを渡すことにより、稼働中のデーモンの設定を表示することができます。
JobTrackerでの例：
スクリーンショット
webUIから表示できるのは意外と知られていないような気...
未分類 MBPのメモリ増設メモ
同僚がMacBook Proのメモリを16GB増設したときに行った作業の備忘録です。
（物理的に）メモリ増設
PRAMクリア（*1)
シャットダウン
Command+Option+P+Rを押しながら電源ON
自動で再起動するの...
未分類 PageCacheとSwap
数年前に書いたLinux KernelのPageCacheとSwapの資料を発見したので、slideshareで公開します。
若干古いですが参考になれば。もし間違いがあればご指摘ください。
pagecache-memo from...
未分類 Hadoop使いのためのRPMの便利な使い方５つ
Hadoopにどっぷりつかってもうすぐほぼ一年。去年の今頃はKVMやCluster、Linuxのパフォーマンスチューニングやらで休む暇もなかったわけですが、今年はより自転車操業的生活を送っています。
- * - * - * -
さて、Had...
未分類 Hadoopエンジニアの記事(1)
Enterprisezineの記事
めざせ！Hadoopエンジニア―開発者編―