HDFSとMapReduceのハートビートの設定

2日目です。書き溜めた技術情報を書き続けてみるテスト中。

技術ネタ

HDFSのハートビートなど

a) ハートビート(デフォルト3秒: dfs.heartbeat.interval)

1) DataNodeからNameNodeに一定間隔で送付される。以下の情報が含まれる。(容量、使用量、残量、送信実行中の数、xceiver数(コネクション数)、failedVolumesなど。
2) NameNodeからの応答の中に、ローカルブロックの無効化依頼や、それらを他のDNにコピーする指示が含まれる

b) ブロックレポート(デフォルト1時間毎:dfs.blockreport.intervalmsec)

1) ブロック情報。DNが全てのローカルに保存されているブロックについての情報をNNに通知

2) 応答で削除すべきブロックについての情報を返す

c) ブロックスキャナーレポート(デフォルト3週間毎:fs.datanode.scan.period.hours)

2) DNが自分の管理しているブロックに対してチェックを行う(間隔)

MapRecuce のハートビートなど

HDFS同様に、TaskTracker -> JobTrackerは定期的にハートビート通信を行っている。 DataNode -> NameNode 間のハートビートと異なり、値は調整できません。 (詳細は MAPREDUCE-1906 を参照:https://issues.apache.org/jira/ browse/MAPREDUCE-1906)

タスクのプロセス(子プロセス)とTaskTrackerの間のチェック方法/間隔です が、

i) 子プロセスが進行状況を報告

ii) TaskTrackerのスレッドが定期的にチェック (3s)。タイムアウトはmapred.task.timeout で調整可能。

Cloudera World Tokyo 2013の資料

さて、本日、Cloudera World Tokyo 2013の資料が公開されたようです。

http://www.cloudera.co.jp/cwt2013-session.html

未公開セッションのうち、一部の資料は講演の方に掲載確認中とのこと。

当日はほとんどセッションに参加できなかったので、公開されたのは非常に嬉しい限り。これを読んで勉強します。

Hadoop Advent Calendar 2013

本日のHadoopアドベントカレンダー2013は garagekidztweetz さんです。無茶振りにも関わらず、快く引き受けていただきました。いつも素晴らしいブログを拝見させていただいています。ありがとうございます。http://d.hatena.ne.jp/garage-kid/20131202/hadoopadventcalendarday2

Pocket

Leave a Reply

Your email address will not be published. Required fields are marked *

CAPTCHA


日本語が含まれない投稿は無視されますのでご注意ください。(スパム対策)