最新のCDH5.1を仮想化環境で動かす

「Hadoopを10分で試す」ということで、過去数回にわたって仮想マシンイメージを使ってHadoopを動かしてきました。

今回はいち早く、最新の CDH5.1 / Cloudera Manager 5.1に対応したイメージが公開されたので、早速検証と日本語化、Hue 3.6の検索のダッシュボードを見てみます。

(続きを読む)

Hadoop Conference Japan 2014

先週開催された Hadoop Conference Japan 2014、参加してきました。

今回は1300人弱の申し込みがあったとのことです。65%が初めての参加とか。すごいですね。YARNのセッションの充実、Sparkのセッション、SQL on Hadoopセッションの多さが最近のHadoopを象徴しているようでした。今回はHadoopの父、Doug Cutting氏も来日して盛り上がっていました。

Dougと言えば五味さんの記事にあるインタビュー、久しぶりに良いインタビューだと思いました。必見です。例えば、

「(略)ですが,そういったスーパーな開発者だけでなく,私はオープンソースに関わるすべての人々を同じように深く尊敬しています。開発する人も使ってくれる人 も,誰もがなくてはならない存在であり,私自身,オープンソースの活動を通してさまざまな恩恵を受けてきました。良い仕事ができたことはすべてそういった 人々のおかげであり,本当に深く感謝しています。」

はなかなか言えませんね。。

(続きを読む)

高可用性でフェデレーションなHDFS

HDFS-HA with federation

高可用性HDFS(High Availability HDFS)の情報はたくさん公開されていますが、フェデレーションと組み合わせた設定についての情報は非常に少ないようです。
手元の環境で構築したので、設定をメモ代わりに残しておきます。

(続きを読む)