未分類

HDFSのディスク使用量表示の謎

HadoopのHDFSの使用量をコマンドラインから確認するには、 hadoop fsck / hadoop dfsadmin -report などを使用する方法があります。ところが、これらのツールで表示される結果が少し異なって表示さ...
MapReduce

MapReduceの中間データを保持する

MapReduceでジョブの実行時に生成される中間データは、ジョブの終了時に削除されます。これにより不要なデータは削除され、ディスク容量が圧迫されることがなくなります。 しかし、デバッグのために中間データを保持しておきたいと言うこともあるで...
未分類

Hadoopデーモンの設定を表示する

Hadoopの各デーモンにはwebuiがありますが、オプションを渡すことにより、稼働中のデーモンの設定を表示することができます。 JobTrackerでの例: スクリーンショット webUIから表示できるのは意外と知られていないような気...
未分類

MBPのメモリ増設メモ

同僚がMacBook Proのメモリを16GB増設したときに行った作業の備忘録です。 (物理的に)メモリ増設 PRAMクリア(*1) シャットダウン Command+Option+P+Rを押しながら電源ON 自動で再起動するの...
未分類

PageCacheとSwap

数年前に書いたLinux KernelのPageCacheとSwapの資料を発見したので、slideshareで公開します。 若干古いですが参考になれば。もし間違いがあればご指摘ください。 pagecache-memo from...
未分類

Hadoop使いのためのRPMの便利な使い方5つ

Hadoopにどっぷりつかってもうすぐほぼ一年。去年の今頃はKVMやCluster、Linuxのパフォーマンスチューニングやらで休む暇もなかったわけですが、今年はより自転車操業的生活を送っています。 - * - * - * - さて、Had...
未分類

Hadoopエンジニアの記事(1)

Enterprisezineの記事 めざせ!Hadoopエンジニア―開発者編―
未分類

Cloudera ManagerでHBaseのセットアップ

なんとEMR上でHBaseが利用できるようになったようです。素晴らしい。 Hadoopの象本に対して馬本とも呼ばれている、Lars George著のHBaseバイブル的存在、米O'Reilly「HBase: The Definitive G...
未分類

Fedora17 on MacBook Air

Fedora17はEFIブートにNative対応したということなので、MacBook Air (2011)にインストールを行った。 1) isoイメージのダウンロード 2) ddを使ってUSBメモリに書き込み 3) MBAにUSBメモリを装...
未分類

Hadoop web UIの認証機能を試す

HadoopでNameNodeやJobTrackerのWebUIを利用するというのは一般的ですが、一般ユーザーには公開したくない場合もあります。設定方法についての質問があったので、CDH3の検証環境を作って試してみました。 まずその前に: ...