JobTracker Higth Availability

なぜかJobTracker Recoveryページへのアクセスが多いので、JobTracker HA(高可用性JobTracker)についても再度触れておきます。

以前書いたように、CDH4.2以降では JobTrackerを高可用性にすることができるようになっています。これにより、JobTrackerに障害が生じた場合のダウンタイムを減らすことができます。※残念ながらApacheの1.0系には取り込まれていません。 (続きを読む)

CDH4.5、Cloudera Manager 4.8、Cloudera Impala 1.2.1、 Cloudera Search 1.1公開

長いタイトルですが、表記のプロダクト群の新しいバージョンが公開されたようです。

それぞれの詳細についてはアナウンスのメールをご覧下さい。

メールにも書かれていますが、注意点として、
・Cloudera Impala 1.2.1を管理するためにはCloudera Manager 4.8が必要
です。バージョンアップの際は両方同時に行う必要がありますのでご注意を。

検証は後ほど行う予定(は流動的)ですが、気になる点を抜粋。 (続きを読む)

Hadoopアドベントカレンダー 2013

Hadoop advent calendar 2013

今年もあります。是非皆さんもご参加下さい!(せっかくのお祭り?ですし、思いっきり濃い技術ネタでも、軽い話でも無問題です。一緒に盛り上がりましょう!)
http://qiita.com/advent-calendar/2013/hadoop/participants

なお、昨年までのカレンダーはこちら。 (続きを読む)

CDH5 ベータ1 のNFSv3ゲートウェイを試してみました

HDFSのNFSv3 Gateway機能を試してみる

以前の記事にも書きましたが、Hadoop 2.2.0の新機能の一つに「NFSv3に対応」という点があります。「CDH5 beta1を速攻で試す!」でCDH5b1のパッケージをみたように、NFSv3 GatewayはCDH5 b1にも含まれています。制約は多いようですが、モノは試しに使ってみましょう。 (続きを読む)

Hueと外部ウェブアプリを統合する(成功編)

Hue 3.5再チャレンジ!

前回のブログで Hue に外部ウェブアプリを統合しようとし、

さあ、うまくいくでしょうか?
hue_proxyapp_err

残念!!

無念ですが、今日はここまで。

という、玉砕の結果に終わったHueの実験。その後twitter経由でhue-user@cloudera.orgに問い合わせをしたところ、レポジトリにファイルが足りないことが5秒(私見)で判明。すぐに対応してくれました。Thanks Romain & hue-team!!

再度 git pullしてビルドし、結果は以下のようになりました。 (続きを読む)

「Hadoopを40分で理解する」のスライド公開!

(2014/12/10追記)Hadoop入門になりそうなブログをまとめたページを作成しました。-> Hadoopを10分で試す

Cloudera World 2013の資料が公開されました

先週開催されたCloudera World Tokyo 2013、資料が公開され始めました。
http://www.cloudera.co.jp/cwt2013-session.html

まだ全てのスライドは揃っていませんが、順次公開されるとのこと。
Hadoopを40分で理解する」のスライド(pdf)もダウンロードできるようになっています。

スライドシェアにも上げてあります。

#cwt2013

Hue 3.5をビルドする

ClouderaのHueチームは、現在タイで静養中(バカンス)のようです。(羨ましい)
しかし、一方Hue3.5に向けての開発が順調に進んでいるようです。

Hue 3.5で搭載されそうなアプリ

ブログに公開されていた興味深いアプリ3つ+1つ

  1. グラフィカルファセット
  2. 外部ウェブアプリの統合
  3. DBQueryアプリ:MySQLとPostgreSQLエディタ
  4. そして、Sparkアプリ!(スクリーンショット

(続きを読む)

HBase勉強会に参加しました

HBase勉強会 (Meetup)

Apache HBaseのPMC (Project Management Committees: Committerを束ねるような立場のような人)でもあるClouderaのエンジニア、Jonathan Heish氏がCloudera World Tokyo 2013のために来日しており、せっかくの機会なのでHBase勉強会が催されました。多分、HBase界では5本の指に入るような凄い人です。

今回は通訳なし、HBaseをそれなりに知っているという前提条件での実施のため、かなり突っ込んだ話でした。 (続きを読む)