Cloudera Manager Hadoopで使っているポート番号の確認、設定
Cloudera Manager Advent Calendar 2015の2日目ですApache Hadoop、やエコシステムではさまざまなポートを使用してネットワーク通信を行います。それぞれ別のプロジェクトで開発されているので、横断的に...
kernel023
Cloudera Manager 
impala ImpalaとKuduがApache Software財団に寄贈へ！
ついに素晴らしい２つのプロジェクト、ImpalaとKudoがApache Software Foundationに寄贈される方向で提案されました！Cloudera Proposes to Donate Impala and Kudu to ...
Spark Sparkの日本語ドキュメント
Spark 1.5.0 の日本語版ドキュメント。何かと参考になると思うのでメモ。誰が翻訳しているのかわかりませんが、このようなドキュメントはありがたいですね。OSSにはソースやパッチを書いたりするだけでなく、このような形での貢献の仕方も重要...
Kudu Kuduを仮想化環境で動かしてみる
KuduにはQuickstartが用意されており、実機がなくてもVirtualBoxの仮想マシン上で動かしてみることができるようです。Kudu Quickstart：早速手元の環境で実行してみました。ダウンロード時間を含めて一通り実行しても...
RecordService RecordService: Hadoopエコシステムのためのセキュリティレイヤ
先ほどブログに書いたKuduに続き、もう一つの大きなリリース RecordService も公開されました。RecordServiceはHadoopエコシステムのためのセキュリティ層です。詳細は下記のブログを参照してください。以下の図にもあ...
Kudu Kuduリリース！
オープンソースの新しいストレージエンジン、Kuduついに本日アナウンスされた Kudu (クドゥ）、次世代ハードウェアにも対応するオープンソースのストレージエンジンです。まだベータ版ですが、3年もの開発期間を経てついに公開されました！数日前...
hdfs HDFSのイレイジャーコーディング (Erasure Coding)
2017/5/19追記: ClouderaのHDFS Erasure Codingのブログ翻訳しました -> Apache HadoopのHDFS Erasure Codingの紹介以前紹介したHDFSのイレイジャーコーディング「HDFSが...
Uncategorized 「初めてのSpark」刊行記念 Spark Meetup 2015は本日開催です
台風にも大雨にも負けず、本日ドワンゴのセミナールームにてSpark Meetupが開催されます。物好きなSparkに関心のある方の登録が340名、台風に伴う（？）キャンセルが相次ぎ、現在は280名弱ぐらいまでになっているので、補欠の方も参加...
Spark 「初めてのSpark」が発売されます！
2015/8/22発売予定です。翻訳は象本、馬本、などHadoopやビッグデータ関係の翻訳でおなじみの玉川さん。気合い入れてレビューしたので是非手に取ってみてください！
ibis Ibisを使ってみた（３）
ImpalaとIbis前回Ibisを実行してみましたが、実際のところImpalaではどのようなクエリが実行されるのかをWebUIから確認してみました。