kernel023

CDH

CDH5系のメンテナンスリリース

CDH5.0.6、CDH5.1.5、CDH5.2.5、CDH5.3.3がリリースされました!これらのバージョンでは、最近のバージョンのHDFSで修正されたデータロストの問題に対応しています。一口で説明できないほどかなり複雑な問題で、複数のパ...
hive

Hue 3.8の新しい機能

最近いくつかのブログ記事を翻訳しましたが、Hadoop用のデファクトスタンダードなGUIであるHue、新しいバージョンのHue 3.8は素晴らしいものになりそうです。Hueのブログページ(日本語)Hue 3.8の機能(日本語のブログから抜粋...
hadoop

Apache Hadoop誕生9周年

Apache Hadoopは9歳に!Apache Hadoopが登場したのが2006年4月1日なので、本日が9周年のようです。Hadoop誕生7周年のブログを書いてから、あっという間に2年も過ぎていました。さらに、今日はApache Spa...
hue

Hueの最新版をビルドする

以前、ソースコードからHueをビルドしたことがあります。(Hue 3.5をビルドする)その後はパッケージ版の機能で満足していたのですが、本日gethue.comで公開されたブログで「数分でHueの開発をMacで始める!」という内容だったので...
hdfs

HDFSが変わる?HDFSのイレイジャーコーディング対応

Hadoopの分散ファイルシステムであるHDFSはビッグデータ用のストレージ用に広く利用され、ビッグデータにおけるファイルシステムのデファクトスタンダードになっていると言っても過言ではありません。最近では暗号化の対応やアクセス制御(ACL)...
MapReduce

YARN/MapReduce v2のチューニング

Tuning the Cluster for MapReduce v2 (YARN)良いYARN/MapReduce v2のチューニングドキュメントがあったので共有。抜粋すると、24core/256GBのワーカーノードを例にして、HDFSや...
impala

Impala Cookbook (非公式)日本語版 (4) Impalaのベンチマーク

先日のImpala Cookbookの非公式日本語版の続きです。先日は「クラスタのサイジングと推奨ハードウェアImpalaのメモリ使用量」でした。本日は「Impalaのベンチマーク」です。ベンチマークも取り方によっては全く意味がありません。...
hdfs

HDFSのリカバリについてのブログ記事

先日HDFSのリカバリについてのブログ記事(英語)が公開されていたのですが、その翻訳版が公開されました。HDFSのリースリカバリ、ブロックリカバリ、およびパイプラインリカバリ動作詳解 (その1)これは象本にも記載されていないような話なので、...
hive

Hive on Spark のベータ版!

Hive on Spark寝る間際に見てしまった、「Download the Hive-on-Spark Beta」という文字。下記のClouderaのブログによれば、Cloudera ManagerからHive on Sparkがセットア...
HBase

祝! HBase 1.0.0 リリース

ツイートで知りましたが、2011/1にHBase 0.90がリリースされて4年、ついにHBase 1.0.0がリリースされました!