CDH5

セキュアなHadoopクラスタ:Cloudera ManagerでのKerberos化

前回はCloudera Managerを使ってCloudera Quickstart VMを利用できるようにしました。今回はKerberosを使用してセキュアなクラスタ化を行います。 セキュア化の背景 Hadoopのメリットの一つはデータを...
CDH5

Cloudera Quickstart VM 5.7 を使って見る

前回アップグレードが完了したCloudera Quickstart VM。ふと見ると本家に5.7が.. orz... 前回アップグレードした版、あるいはこのver 5.7のVMのどちらを使っても同じ結果になるはずですが、せっかくなので5....
CDH

Cloudera Quickstart VMを5.7にアップデート(3)

前回はCloudera Managerを5.7にアップグレードしました。 今回は各コンポーネントのバージョンアップを行います。
CDH5

(備忘録)Hadoop、CDH、Cloudera Manager、Sparkの便利リンク

最近見つけた便利なリンク Cloudera (CDH, Impala, Cloudera Manager, DistCpなど)で使うポート (←便利!) Hadoop Users in Cloudera Manager...
Arrow

Apache Arrowとは

2月にApadheのトップレベルプロジェクトになったApache Arrowに注目しています。 一言で言えば「インメモリで列指向データを扱うための標準」を目指しているものです。 Introducing Apache Arrow: A ...
CDH5

Cloudera Quickstart VMを5.7にアップデート(2)

前回はQuickstart VMの起動までを行いました。今回はCloudera Managerからアップグレードを行います。
CDH5

Cloudera Quickstart VMを5.7にアップデート(1)

先日 Cloudera Enteprise 5.7 がリリースされました!リリースアナウンスによると、 Hive on Sparkのサポート! Hiveによるバッチ処理をSparkでも実行できるようになりました。 Imp...
Docker

2015年版 Hadoopを10分で試す〜Docker編〜

今年は死ぬほど忙しいので、アドベントカレンダー全部俺は断念しました。。。 Hadoopを10分で(Dockerで)試す が、例年「Hadoopを10分で試す」というブログを書いてきたので、今年も書いておきましょう。ちょうどいいタイミングでD...
Cloudera Manager

Hadoopで使っているポート番号の確認、設定

Cloudera Manager Advent Calendar 2015の2日目です Apache Hadoop、やエコシステムではさまざまなポートを使用してネットワーク通信を行います。それぞれ別のプロジェクトで開発されているので、横断的...
impala

ImpalaとKuduがApache Software財団に寄贈へ!

ついに素晴らしい2つのプロジェクト、ImpalaとKudoがApache Software Foundationに寄贈される方向で提案されました! Cloudera Proposes to Donate Impala and Kudu to...