CDH5 Cloudera Quickstart VM 5.7 を使って見る
前回アップグレードが完了したCloudera Quickstart VM。ふと見ると本家に5.7が.. orz...前回アップグレードした版、あるいはこのver 5.7のVMのどちらを使っても同じ結果になるはずですが、せっかくなので5.7を...
Spark
CDH5 Spark Sparkの日本語ドキュメント
Spark 1.5.0 の日本語版ドキュメント。何かと参考になると思うのでメモ。誰が翻訳しているのかわかりませんが、このようなドキュメントはありがたいですね。OSSにはソースやパッチを書いたりするだけでなく、このような形での貢献の仕方も重要...
Spark 「初めてのSpark」が発売されます！
2015/8/22発売予定です。翻訳は象本、馬本、などHadoopやビッグデータ関係の翻訳でおなじみの玉川さん。気合い入れてレビューしたので是非手に取ってみてください！
Spark Spark 1.4.0のDAG Viewer
先週のHadoop Summitに続き、今週はSpark Summitが開催されています。盛りだくさんですね。日本でも、来週は23日にSpark Casual Talk #1、25日に HBase Meetup Tokyo Summer 2...
hue Hue 3.8のノートブックは凄い
Hue 3.8で搭載されたノートブック。ようやく手元の環境で動かしてみました。ImpalaもHiveもSparkも使える。結論から言うと、これはいい！！
hive CDH 5.4でHive on Sparkを試す
Hive on Spark (on CDH5.4)※Hive on Sparkはテクノロジープレビュー扱いです。現時点ではサポート対象外なのでご注意を。CDH5.4に含まれているHiveはHive 1.1です。このバージョンのHiveから、...
Spark Apache Sparkでのデータの永続化を確認してみる
Hadoop関連（全部俺） Advent Calendar 2014:18日目の記事ですApache Sparkはインメモリで処理を行いますが、ReduceByKeyなどでシャッフルされるような場合はディスクに永続化されます。（参考情報：A...
crunch Hadoopのいろんな言語でwordcount(3) : Apache Crunch
Hadoop関連（全部俺） Advent Calendar 2014:16日目の記事です＃あと８日。そろそろ気力と体力の限界が、、、wordcountの最終回です。今日はApache Crunchです。CrunchでMapReduceとSp...
Spark Hadoopのいろんな言語でwordcount(2) : Apache Spark
Hadoop関連（全部俺） Advent Calendar 2014:15日目の記事です昨日に続いて今日もwordcountです。今日はApache Spark (Scala、Python、Java）でwordcountを実行してみましょう...
hadoop Hadoop関連本リリース予定 (2014/12版)
４日目です。2015/1/1: 最新情報を別ページにまとめましたO'Reillyのサイバーセールで洋書を買いまくった皆様、いかがお過ごしでしょうか？前回のブログからだいぶ時間が過ぎてしまったので、今後出版される予定のHadoop関連本のまと...