JobTracker Recovery

CDH3u5ではJobTracker Recovery機能に対応しています。

https://ccp.cloudera.com/display/CDHDOC/CDH3+Deployment+on+a+Cluster#CDH3DeploymentonaCluster-ConfiguringJobTrackerRecovery

この機能は、MapReduceでジョブを実行中にJobTrackerに障害が発生した場合、JobTrackerの再起動後に該当するジョブをリカバリしてくれるというものです。(*1)(*2)
この機能を使用するためには、mapred-site.xmlのmapred.jobtracker.restart.recoverをtrueに設定します。
注意事項としては、

JobTracker recovery means that jobs that are running when JobTracker fails (for example, because of a system crash or hardware failure) are re-run when the JobTracker is restarted. Any jobs that were running at the time of the failure will be re-run from the beginning automatically.

と書かれているように、現在の実装では「自動的に最初から再実行」というところでしょうか。(チェックポイントを取って途中から再開されるとか期待していたんですけどねw)JobTrackerを再起動したときに、同じJobIDでジョブがサブミットされて、同じユーザーで実行されます。
(続きを読む)

Posted in Uncategorized

HDFSのディスク使用量表示の謎

HadoopのHDFSの使用量をコマンドラインから確認するには、

  • hadoop fsck /
  • hadoop dfsadmin -report

などを使用する方法があります。ところが、これらのツールで表示される結果が少し異なって表示されます。

fsckの結果

[root@node4 ~]# hadoop fsck /
FSCK started by root from /192.168.127.104 for path / at Thu Aug 09 20:39:53 JST 2012
.
/user/hdfs/hosts:  Under replicated blk_-1188876542256378619_1003. Target Replicas is 3 but found 1 replica(s).
.
/user/hdfs/passwd:  Under replicated blk_6858785821850585066_1002. Target Replicas is 3 but found 1 replica(s).
Status: HEALTHY
Total size:	2446 B
Total dirs:	4
Total files:	2
Total blocks (validated):	2 (avg. block size 1223 B)
Minimally replicated blocks:	2 (100.0 %)
Over-replicated blocks:	0 (0.0 %)
Under-replicated blocks:	2 (100.0 %)
Mis-replicated blocks:		0 (0.0 %)
Default replication factor:	3
Average block replication:	1.0
Corrupt blocks:		0
Missing replicas:		4 (200.0 %)
Number of data-nodes:		1
Number of racks:		1
FSCK ended at Thu Aug 09 20:39:53 JST 2012 in 9 milliseconds


The filesystem under path '/' is HEALTHY

(続きを読む)

Posted in Uncategorized

MapReduceの中間データを保持する

MapReduceでジョブの実行時に生成される中間データは、ジョブの終了時に削除されます。これにより不要なデータは削除され、ディスク容量が圧迫されることがなくなります。

しかし、デバッグのために中間データを保持しておきたいと言うこともあるでしょう。今回はCDH3を使用した2つのやり方を紹介します。

1. 失敗時のみファイルを残す

keep.failed.task.files

このパラメータをtrueにすることにより、失敗したジョブの中間データは削除されないようになります。

2. 条件に基づいてファイルを残す
(続きを読む)

Hadoopデーモンの設定を表示する

Hadoopの各デーモンにはwebuiがありますが、オプションを渡すことにより、稼働中のデーモンの設定を表示することができます。

JobTrackerでの例:

http://:50030/conf

スクリーンショット

WebUI conf
webUIから表示できるのは意外と知られていないような気もするので、ご参考になれば。

Posted in Uncategorized

MBPのメモリ増設メモ

同僚がMacBook Proのメモリを16GB増設したときに行った作業の備忘録です。

  1. (物理的に)メモリ増設
  2. PRAMクリア(*1)
    1. シャットダウン
    2. Command+Option+P+Rを押しながら電源ON
    3. 自動で再起動するので起動音がしたらキーから手を離す
  3. SMCクリア (*2)
    1. シャットダウン
    2. 電源接続
    3. Shift+Ctrl+Optionを押しながら電源ON
    4. 全てのキーと電源を同時に話す
    5. 電源を押してコンピュータを再起動
  4. 必要があればApple Hardware Test
      1. dを押しながら電源ON
      2. メニューからメモリテストを実施(フルテストは1時間でも終わらない。簡易テストなら5分ぐらい)

    *1)  PRAMリセットを実施する前、高負荷時にビープ音と共にハングする減少が発生したので。(気休めかもしれない)
    http://support.apple.com/kb/HT1379?viewlocale=ja_JP

    *2)  http://support.apple.com/kb/HT3964?viewlocale=ja_JP

    Posted in Uncategorized