HDFSとMapReduceのハートビートの設定

2日目です。書き溜めた技術情報を書き続けてみるテスト中。

技術ネタ

HDFSのハートビートなど

a) ハートビート(デフォルト3秒: dfs.heartbeat.interval)

1) DataNodeからNameNodeに一定間隔で送付される。以下の情報が含まれる。(容量、使用量、残量、送信実行中の数、xceiver数(コネクション数)、failedVolumesなど。 (続きを読む)

CDH4.5、Cloudera Manager 4.8、Cloudera Impala 1.2.1、 Cloudera Search 1.1公開

長いタイトルですが、表記のプロダクト群の新しいバージョンが公開されたようです。

それぞれの詳細についてはアナウンスのメールをご覧下さい。

メールにも書かれていますが、注意点として、
・Cloudera Impala 1.2.1を管理するためにはCloudera Manager 4.8が必要
です。バージョンアップの際は両方同時に行う必要がありますのでご注意を。

検証は後ほど行う予定(は流動的)ですが、気になる点を抜粋。 (続きを読む)

「Hadoopを40分で理解する」のスライド公開!

(2014/12/10追記)Hadoop入門になりそうなブログをまとめたページを作成しました。-> Hadoopを10分で試す

Cloudera World 2013の資料が公開されました

先週開催されたCloudera World Tokyo 2013、資料が公開され始めました。
http://www.cloudera.co.jp/cwt2013-session.html

まだ全てのスライドは揃っていませんが、順次公開されるとのこと。
Hadoopを40分で理解する」のスライド(pdf)もダウンロードできるようになっています。

スライドシェアにも上げてあります。

#cwt2013

CDH5 beta1を速攻で試す!

CDH5 beta1が公開された!!!!

ClouderaのEnterprise Data Hubの核とも言えるCloudera 5(CDH5とCloudera Manager5)のうちのCDH5。本日公開となったCDH5 beta1がClouderaのリポジトリに上がっていたので、速攻でインストールしてみました。
雑感ですが、つい2週間前にApache Hadoop 2.2がGAになったばかりで、Hive 0.12、Pig 0.12、HBase 0.96、、、とメジャーバージョンのリリースラッシュだったので、現時点でCDH5がベータ1として公開されているのはある意味当然かなと。。(そんな短期間でGAのリリースをするとしたら品質下がるし、テストもできてないでしょうし、サポートもできないですよ、、、、)

なお、ベータ1にはApache Hadoop 2.2は含まれていましたが、Hive、Pigは0.11、HBaseは0.95.2でした。 (続きを読む)

Cloudera World Tokyo 2013 開催!

Cloudera World Tokyo 2013 〜Hadoopの祭典、新しい価値の創造〜、開催

2013年11月7日(木)に目黒雅叙園で開催される予定の「Cloudera World Tokyo 2013」、Hadoopのみならず、ビッグデータに関心のある方、経営層、開発者、データサイエンティストなど、幅広い方を対象に実施される予定です。

昨年は六本木のミッドタウンで開催され、約600名という規模でした。今年はさらにパワーアップ。午後は30セッションものトラックが用意されています。 (続きを読む)