ビッグデータ用のデータ管理ツール

先日開催された Cloudera World Tokyo 2017 にて、「Clouderaが提供するエンタープライズ向け運用、データ管理ツールの最新情報の使い方」というセッションで講演させていただきました。セッション申し込みが200名超(汗)と緊張感がありましたが、以下がその内容です。

(続きを読む)

Cloudera World Tokyo 2017 開催

2017/11/07に、秋恒例のイベント「Cloudera World Tokyo 2017」が開催されます。

http://www.clouderaworldtokyo.com/

今年は、”ビジネスを変える「データの力」”をテーマに、技術からビジネスまで、例年にも増して多種多様なセッションが用意されているようです。

タイムテーブルはこちら

 

参加費無料。定員の倍に達しているセッションもあるようなので、見たいセッションがある方はお早めに。

ハッシュタグは #CWT2017

HDFSとMapReduceのハートビートの設定

2日目です。書き溜めた技術情報を書き続けてみるテスト中。

技術ネタ

HDFSのハートビートなど

a) ハートビート(デフォルト3秒: dfs.heartbeat.interval)

1) DataNodeからNameNodeに一定間隔で送付される。以下の情報が含まれる。(容量、使用量、残量、送信実行中の数、xceiver数(コネクション数)、failedVolumesなど。 (続きを読む)

CDH4.5、Cloudera Manager 4.8、Cloudera Impala 1.2.1、 Cloudera Search 1.1公開

長いタイトルですが、表記のプロダクト群の新しいバージョンが公開されたようです。

それぞれの詳細についてはアナウンスのメールをご覧下さい。

メールにも書かれていますが、注意点として、
・Cloudera Impala 1.2.1を管理するためにはCloudera Manager 4.8が必要
です。バージョンアップの際は両方同時に行う必要がありますのでご注意を。

検証は後ほど行う予定(は流動的)ですが、気になる点を抜粋。 (続きを読む)

「Hadoopを40分で理解する」のスライド公開!

(2014/12/10追記)Hadoop入門になりそうなブログをまとめたページを作成しました。-> Hadoopを10分で試す

Cloudera World 2013の資料が公開されました

先週開催されたCloudera World Tokyo 2013、資料が公開され始めました。
http://www.cloudera.co.jp/cwt2013-session.html

まだ全てのスライドは揃っていませんが、順次公開されるとのこと。
Hadoopを40分で理解する」のスライド(pdf)もダウンロードできるようになっています。

スライドシェアにも上げてあります。

#cwt2013