cloudera ビッグデータ用のデータ管理ツール
先日開催された Cloudera World Tokyo 2017 にて、「Clouderaが提供するエンタープライズ向け運用、データ管理ツールの最新情報の使い方」というセッションで講演させていただきました。セッション申し込みが200名超（...
Cloudera Manager
cloudera 
Cloudera Manager Sparkで取得したログを別のマシンのWeb UIで見る
＃以前qiitaに投稿した記事を一部更新して再投稿していますApache SparkのWebUIはアプリケーションの開発時のデバッグにとても役立ちます。しかし、本番運用に入ってしまうと、簡単にはWeb UIにアクセスできなかったり、問題が発...
Cloudera Manager StreamSetsでGUIからデータフローを作成
StreamSetsのData CollectorというOSSは、GUIからデータフロー（パイプライン）を定義して実行することができます。かなり簡単なのでオススメです。今回はQuickstart VM の環境にセットアップしてみました。詳細...
CDH5 セキュアなHadoopクラスタ：Cloudera ManagerでのKerberos化
前回はCloudera Managerを使ってCloudera Quickstart VMを利用できるようにしました。今回はKerberosを使用してセキュアなクラスタ化を行います。セキュア化の背景Hadoopのメリットの一つはデータを一箇...
CDH5 Cloudera Quickstart VM 5.7 を使って見る
前回アップグレードが完了したCloudera Quickstart VM。ふと見ると本家に5.7が.. orz...前回アップグレードした版、あるいはこのver 5.7のVMのどちらを使っても同じ結果になるはずですが、せっかくなので5.7を...
CDH Cloudera Quickstart VMを5.7にアップデート（３）
前回はCloudera Managerを5.7にアップグレードしました。今回は各コンポーネントのバージョンアップを行います。
CDH5 （備忘録）Hadoop、CDH、Cloudera Manager、Sparkの便利リンク
最近見つけた便利なリンク Cloudera (CDH, Impala, Cloudera Manager, DistCpなど）で使うポート （←便利！） Hadoop Users in Cloudera Manager and CD...
CDH5 Cloudera Quickstart VMを5.7にアップデート（２）
前回はQuickstart VMの起動までを行いました。今回はCloudera Managerからアップグレードを行います。
CDH5 Cloudera Quickstart VMを5.7にアップデート（１）
先日 Cloudera Enteprise 5.7 がリリースされました！リリースアナウンスによると、 Hive on Sparkのサポート！ Hiveによるバッチ処理をSparkでも実行できるようになりました。 Impala 2.5...
Cloudera Manager Hadoopで使っているポート番号の確認、設定
Cloudera Manager Advent Calendar 2015の2日目ですApache Hadoop、やエコシステムではさまざまなポートを使用してネットワーク通信を行います。それぞれ別のプロジェクトで開発されているので、横断的に...