2015-03

hue

Hueの最新版をビルドする

以前、ソースコードからHueをビルドしたことがあります。(Hue 3.5をビルドする) その後はパッケージ版の機能で満足していたのですが、本日gethue.comで公開されたブログで「数分でHueの開発をMacで始める!」という内容だったの...
hdfs

HDFSが変わる?HDFSのイレイジャーコーディング対応

Hadoopの分散ファイルシステムであるHDFSはビッグデータ用のストレージ用に広く利用され、ビッグデータにおけるファイルシステムのデファクトスタンダードになっていると言っても過言ではありません。最近では暗号化の対応やアクセス制御(ACL)...
MapReduce

YARN/MapReduce v2のチューニング

Tuning the Cluster for MapReduce v2 (YARN) 良いYARN/MapReduce v2のチューニングドキュメントがあったので共有。 抜粋すると、24core/256GBのワーカーノードを例にして、HD...
impala

Impala Cookbook (非公式)日本語版 (4) Impalaのベンチマーク

先日のImpala Cookbookの非公式日本語版の続きです。先日は「クラスタのサイジングと推奨ハードウェアImpalaのメモリ使用量」でした。本日は「Impalaのベンチマーク」です。 ベンチマークも取り方によっては全く意味がありません...
hdfs

HDFSのリカバリについてのブログ記事

先日HDFSのリカバリについてのブログ記事(英語)が公開されていたのですが、その翻訳版が公開されました。 HDFSのリースリカバリ、ブロックリカバリ、およびパイプラインリカバリ動作詳解 (その1) これは象本にも記載されていないような話...