Kuduを仮想化環境で動かしてみる

KuduにはQuickstartが用意されており、実機がなくてもVirtualBoxの仮想マシン上で動かしてみることができるようです。
Kudu Quickstart:http://getkudu.io/docs/quickstart.html

早速手元の環境で実行してみました。ダウンロード時間を含めて一通り実行しても30分もかからないので、興味のある方は是非。(ダウンロード時間次第)

(続きを読む)

RecordService: Hadoopエコシステムのためのセキュリティレイヤ

先ほどブログに書いたKuduに続き、もう一つの大きなリリース RecordService も公開されました。

RecordServiceはHadoopエコシステムのためのセキュリティ層です。詳細は下記のブログを参照してください。

http://www.cloudera.co.jp/blog/recordservice-for-fine-grained-security-enforcement-across-the-hadoop-ecosystem.html

以下の図にもあるように、計算フレームワークとストレージの管理の間に横断的に位置するセキュリティ層です。

(続きを読む)

Kuduリリース!

オープンソースの新しいストレージエンジン、Kudu

kudulogoついに本日アナウンスされた Kudu (クドゥ)、次世代ハードウェアにも対応するオープンソースのストレージエンジンです。まだベータ版ですが、3年もの開発期間を経てついに公開されました!

数日前にリークされた記事に「KuduはHDFSやHBaseを置き換えるものだ」と書かれていましたが、それは間違いです。詳細はFAQなどにも書かれていますが、HDFSとHBaseを補う新しいストレージエンジンです。

Kudu情報まとめページ

(続きを読む)

HDFSのイレイジャーコーディング (Erasure Coding)

以前紹介したHDFSのイレイジャーコーディング「HDFSが変わる?HDFSのイレイジャーコーディング対応」について詳しく書かれたブログがClouderaから公開されました。Hadoop 3.0をターゲットにして開発されているようです。

http://blog.cloudera.com/blog/2015/09/introduction-to-hdfs-erasure-coding-in-apache-hadoop/

背景から設計の方針、評価まで幅広くかなり詳しく網羅されており読み応えがあります。しかし、日本語訳が出るかわからないので、自分用にまとめてみました。間違いを発見したらご指摘下さい。

※Erasure Coding、イレージャーコーディングとイレイジャーコーディングのどちらが良いか迷いましたが、Erasureの発音より「イレイジャー」にしました。

(続きを読む)

「初めてのSpark」刊行記念 Spark Meetup 2015は本日開催です

台風にも大雨にも負けず、本日ドワンゴのセミナールームにてSpark Meetupが開催されます。

http://cloudera.connpass.com/event/18857/

物好きなSparkに関心のある方の登録が340名、台風に伴う(?)キャンセルが相次ぎ、現在は280名弱ぐらいまでになっているので、補欠の方も参加できるかもしれませんね。

(余力があれば)参加レポートを書きます!ハッシュタグは #Sparkjp