Spark Sparkジョブの履歴をSpark History Serverに取り込む
趣向を変えて今回は Qiita に投稿してみました。Sparkジョブの履歴をSpark History Serverに取り込む
kernel023
Spark kafka YARNとKafkaの短編動画
YARNのチューニングってわかりにくいですよね？このシリーズの動画は割と分かりやすいと思います。同様に、Kafkaって何？って人にはすごく分かりやすい動画。 Tuning YARN Applications Quotas: Cloude...
CDH5 セキュアなHadoopクラスタ：Cloudera ManagerでのKerberos化
前回はCloudera Managerを使ってCloudera Quickstart VMを利用できるようにしました。今回はKerberosを使用してセキュアなクラスタ化を行います。セキュア化の背景Hadoopのメリットの一つはデータを一箇...
CDH5 Cloudera Quickstart VM 5.7 を使って見る
前回アップグレードが完了したCloudera Quickstart VM。ふと見ると本家に5.7が.. orz...前回アップグレードした版、あるいはこのver 5.7のVMのどちらを使っても同じ結果になるはずですが、せっかくなので5.7を...
CDH Cloudera Quickstart VMを5.7にアップデート（３）
前回はCloudera Managerを5.7にアップグレードしました。今回は各コンポーネントのバージョンアップを行います。
CDH5 （備忘録）Hadoop、CDH、Cloudera Manager、Sparkの便利リンク
最近見つけた便利なリンク Cloudera (CDH, Impala, Cloudera Manager, DistCpなど）で使うポート （←便利！） Hadoop Users in Cloudera Manager and CD...
Arrow Apache Arrowとは
2月にApadheのトップレベルプロジェクトになったApache Arrowに注目しています。一言で言えば「インメモリで列指向データを扱うための標準」を目指しているものです。 Introducing Apache Arrow: A Fas...
CDH5 Cloudera Quickstart VMを5.7にアップデート（２）
前回はQuickstart VMの起動までを行いました。今回はCloudera Managerからアップグレードを行います。
CDH5 Cloudera Quickstart VMを5.7にアップデート（１）
先日 Cloudera Enteprise 5.7 がリリースされました！リリースアナウンスによると、 Hive on Sparkのサポート！ Hiveによるバッチ処理をSparkでも実行できるようになりました。 Impala 2.5...
Docker 2015年版 Hadoopを10分で試す〜Docker編〜
今年は死ぬほど忙しいので、アドベントカレンダー全部俺は断念しました。。。Hadoopを10分で(Dockerで）試すが、例年「Hadoopを10分で試す」というブログを書いてきたので、今年も書いておきましょう。ちょうどいいタイミングでDoc...