Cloudera Manager

cloudera

ビッグデータ用のデータ管理ツール

先日開催された Cloudera World Tokyo 2017 にて、「Clouderaが提供するエンタープライズ向け運用、データ管理ツールの最新情報の使い方」というセッションで講演させていただきました。セッション申し込みが200名超(...
Cloudera Manager

Sparkで取得したログを別のマシンのWeb UIで見る

#以前qiitaに投稿した記事を一部更新して再投稿しています Apache SparkのWebUIはアプリケーションの開発時のデバッグにとても役立ちます。 しかし、本番運用に入ってしまうと、簡単にはWeb UIにアクセスできなかったり、問...
Cloudera Manager

StreamSetsでGUIからデータフローを作成

StreamSetsのData CollectorというOSSは、GUIからデータフロー(パイプライン)を定義して実行することができます。かなり簡単なのでオススメです。 今回はQuickstart VM の環境にセットアップしてみました。...
CDH5

セキュアなHadoopクラスタ:Cloudera ManagerでのKerberos化

前回はCloudera Managerを使ってCloudera Quickstart VMを利用できるようにしました。今回はKerberosを使用してセキュアなクラスタ化を行います。 セキュア化の背景 Hadoopのメリットの一つはデータを...
CDH5

Cloudera Quickstart VM 5.7 を使って見る

前回アップグレードが完了したCloudera Quickstart VM。ふと見ると本家に5.7が.. orz... 前回アップグレードした版、あるいはこのver 5.7のVMのどちらを使っても同じ結果になるはずですが、せっかくなので5....
CDH

Cloudera Quickstart VMを5.7にアップデート(3)

前回はCloudera Managerを5.7にアップグレードしました。 今回は各コンポーネントのバージョンアップを行います。
CDH5

(備忘録)Hadoop、CDH、Cloudera Manager、Sparkの便利リンク

最近見つけた便利なリンク Cloudera (CDH, Impala, Cloudera Manager, DistCpなど)で使うポート (←便利!) Hadoop Users in Cloudera Manager...
CDH5

Cloudera Quickstart VMを5.7にアップデート(2)

前回はQuickstart VMの起動までを行いました。今回はCloudera Managerからアップグレードを行います。
CDH5

Cloudera Quickstart VMを5.7にアップデート(1)

先日 Cloudera Enteprise 5.7 がリリースされました!リリースアナウンスによると、 Hive on Sparkのサポート! Hiveによるバッチ処理をSparkでも実行できるようになりました。 Imp...
Cloudera Manager

Hadoopで使っているポート番号の確認、設定

Cloudera Manager Advent Calendar 2015の2日目です Apache Hadoop、やエコシステムではさまざまなポートを使用してネットワーク通信を行います。それぞれ別のプロジェクトで開発されているので、横断的...