Hueの最新版をビルドする

以前、ソースコードからHueをビルドしたことがあります。(Hue 3.5をビルドする

その後はパッケージ版の機能で満足していたのですが、本日gethue.comで公開されたブログで「数分でHueの開発をMacで始める!」という内容だったので、さっそく手元で試したところ、手元の環境ではうまくいかず、、、。

おそらくJavaのバージョンが古いのが原因じゃないかとは思います。しかし手元の環境では、あるアプリの制約によりJavaをアップデートできないので、いつもの通り Quickstart VMに環境を作って試してみました。Quickstart VM万歳 (続きを読む)

HDFSが変わる?HDFSのイレイジャーコーディング対応

Hadoopの分散ファイルシステムであるHDFSはビッグデータ用のストレージ用に広く利用され、ビッグデータにおけるファイルシステムのデファクトスタンダードになっていると言っても過言ではありません。最近では暗号化の対応アクセス制御(ACL)NFSv3への対応など、セキュリティの強化や利便性の向上なども進化しています。

このように進化を続けているHDFSですが、現在開発が進んでいる機能のひとつにイレージャーコーディングへの対応というものがあります。

HDFS-7285:Erasure Coding Support inside HDFS

イレージャーコーディングとはソフトウェアエンジニアには耳慣れない言葉ですが、興味深かったのでまとめてみました。 (続きを読む)

YARN/MapReduce v2のチューニング

Tuning the Cluster for MapReduce v2 (YARN)

良いYARN/MapReduce v2のチューニングドキュメントがあったので共有。

http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_yarn_tuning.html

抜粋すると、24core/256GBのワーカーノードを例にして、HDFSやMapReduce/YARN、HBase、ImpalaやSolr、各種エコシステムのデーモンを実行する場合の

  • それぞれのデーモンへのリソースの配分
  • ノードマネージャーのプロパティと計算式(!)
  • リソースマネージャーのプロパティとサイジングと計算式(!)
  • ゲートウェイとクライアントの設定
  • コンテナのプロパティとサイジングと計算式(!)

比較的シンプルなMapReduce v1と比べると、YARN/MapReduce v2の設定は複雑でわかりにくいですが、この資料はよくまとまっていると思います。チューニングの際にはきっと役立つでしょう。

Impala Cookbook (非公式)日本語版 (4) Impalaのベンチマーク

先日のImpala Cookbookの非公式日本語版の続きです。先日は「クラスタのサイジングと推奨ハードウェアImpalaのメモリ使用量」でした。本日は「Impalaのベンチマーク」です。

ベンチマークも取り方によっては全く意味がありません。また、本番環境で動作させるのと全く違うワークロードのベンチマークも、本来期待しているのとはかけ離れた結果がでるかもしれませんね。

例によって駆け足で日本語化してるので、間違いがあればコメントに書き込むかTwitterでメンションしてください。

原文:
[1] The Impala Cookbook http://www.slideshare.net/cloudera/the-impala-cookbook-42530186

(続きを読む)

HDFSのリカバリについてのブログ記事

先日HDFSのリカバリについてのブログ記事(英語)が公開されていたのですが、その翻訳版が公開されました。

HDFSのリースリカバリ、ブロックリカバリ、およびパイプラインリカバリ動作詳解 (その1)

http://www.cloudera.co.jp/blog/understanding-hdfs-recovery-processes-part-1-ja.html

 

これは象本にも記載されていないような話なので、HDFSの詳細を理解したい方にはお勧めです。逆に、内部の実装まで興味がない方には必要ない情報でしょう。

オープンソースはソースコードが公開されているとはいえ、ソースを見ただけではアーキテクチャや設計まで理解するのが難しいことが多々あります。このように詳細にまとまっている情報は、たとえ一部の人向けとはいえ、非常に意味があります。(日本語になったとはいえ、詳細まで理解するのはなかなかツラい)

その2が公開されるのも楽しみです。