cloudera ビッグデータ用のデータ管理ツール 先日開催された Cloudera World Tokyo 2017 にて、「Clouderaが提供するエンタープライズ向け運用、データ管理ツールの最新情報の使い方」というセッションで講演させていただきました。セッション申し込みが200名超(... 2017.12.01 clouderaCloudera ManagerCloudera Navigator
Cloudera Manager Sparkで取得したログを別のマシンのWeb UIで見る #以前qiitaに投稿した記事を一部更新して再投稿しています Apache SparkのWebUIはアプリケーションの開発時のデバッグにとても役立ちます。 しかし、本番運用に入ってしまうと、簡単にはWeb UIにアクセスできなかったり、問... 2016.12.02 Cloudera ManagerSpark
Cloudera Manager StreamSetsでGUIからデータフローを作成 StreamSetsのData CollectorというOSSは、GUIからデータフロー(パイプライン)を定義して実行することができます。かなり簡単なのでオススメです。 今回はQuickstart VM の環境にセットアップしてみました。... 2016.07.20 Cloudera ManagerStreamsets
CDH5 セキュアなHadoopクラスタ:Cloudera ManagerでのKerberos化 前回はCloudera Managerを使ってCloudera Quickstart VMを利用できるようにしました。今回はKerberosを使用してセキュアなクラスタ化を行います。 セキュア化の背景 Hadoopのメリットの一つはデータを... 2016.05.10 CDH5Cloudera Managersecurity
CDH5 Cloudera Quickstart VM 5.7 を使って見る 前回アップグレードが完了したCloudera Quickstart VM。ふと見ると本家に5.7が.. orz... 前回アップグレードした版、あるいはこのver 5.7のVMのどちらを使っても同じ結果になるはずですが、せっかくなので5.... 2016.05.02 CDH5Cloudera ManagerMapReduceSpark
CDH Cloudera Quickstart VMを5.7にアップデート(3) 前回はCloudera Managerを5.7にアップグレードしました。 今回は各コンポーネントのバージョンアップを行います。 2016.05.02 CDHCDH5Cloudera Manager入門
CDH5 (備忘録)Hadoop、CDH、Cloudera Manager、Sparkの便利リンク 最近見つけた便利なリンク Cloudera (CDH, Impala, Cloudera Manager, DistCpなど)で使うポート (←便利!) Hadoop Users in Cloudera Manager... 2016.04.25 CDH5Cloudera Manager入門
CDH5 Cloudera Quickstart VMを5.7にアップデート(2) 前回はQuickstart VMの起動までを行いました。今回はCloudera Managerからアップグレードを行います。 2016.04.24 CDH5Cloudera Manager入門
CDH5 Cloudera Quickstart VMを5.7にアップデート(1) 先日 Cloudera Enteprise 5.7 がリリースされました!リリースアナウンスによると、 Hive on Sparkのサポート! Hiveによるバッチ処理をSparkでも実行できるようになりました。 Imp... 2016.04.24 CDH5Cloudera Manager入門
Cloudera Manager Hadoopで使っているポート番号の確認、設定 Cloudera Manager Advent Calendar 2015の2日目です Apache Hadoop、やエコシステムではさまざまなポートを使用してネットワーク通信を行います。それぞれ別のプロジェクトで開発されているので、横断的... 2015.12.02 Cloudera Manager