HadoopAdvent2014

CDH

CDH release history (Japanese | 日本語 )

Hadoop関連(全部俺) Advent Calendar 2014: 25日目の記事ですカレンダー最終日&CDH5.3.0がリリースされたのを記念に、CDHのリリース履歴を1枚の図にまとめてみました。(かなり文字が小さいので、ダウンロード...
Cloudera Manager

Cloudera Manager 5.3にアップデート

Hadoop関連(全部俺) Advent Calendar 2014: 24日目の記事です#本日用に準備していたブログの仕込みが間に合わないため、明日にまわします昨日CDHを5.3.0にアップデートしていたのですが、Cloudera Man...
CDH

Cloudera 5.3.0 リリース!

Hadoop関連(全部俺) Advent Calendar 2014: 23日目の記事ですCloudera Managerのトップメニューには「新しいParcel」というアイコンがあり、アップデートされたパッケージがある場合にはパッケージの...
kafka

Apache Kafkaをセットアップ(続き)

Hadoop関連(全部俺) Advent Calendar 2014:22日目の記事です昨日 Kafka のセットアップに失敗してしまったので、切り分けのために5ノードのLXCの環境を作って再度試してみました。
kafka

Apache Kafkaをセットアップ(途中まで)

Hadoop関連(全部俺) Advent Calendar 2014:21日目の記事ですApache KafkaはLinkedInで開発された分散型のメッセージングシステムで、大量のイベントとログデータを低レイテンシで収集/配信するために使...
HBase

HBaseでバルクロード

Hadoop関連(全部俺) Advent Calendar 2014:20日目の記事ですHBase徹底入門ももうすぐ発売される予定、HBaseの1.0.0RCも公開され、盛り上がってきました。HBaseのバルクロードを検証したときのメモを紹...
pig

2014年版 Hadoopを10分で試す(6) Pig

Hadoop関連(全部俺) Advent Calendar 2014:19日目の記事です先日のHive編 (1),(2),(3) に続いてApache Pigです。Hive同様に、PigはMapReduceの上に位置するHadoopのエコシ...
Spark

Apache Sparkでのデータの永続化を確認してみる

Hadoop関連(全部俺) Advent Calendar 2014:18日目の記事ですApache Sparkはインメモリで処理を行いますが、ReduceByKeyなどでシャッフルされるような場合はディスクに永続化されます。(参考情報:A...
HBase

HBase 1.0.0 に向けてのまとめ

Hadoop関連(全部俺) Advent Calendar 2014:17日目の記事です下記のツイートを見て知ったのですが、ということで、ついにHBaseも1.0.0が秒読み(マダ)。本日17日に1.0.0RCブランチが登場するかもしれませ...
crunch

Hadoopのいろんな言語でwordcount(3) : Apache Crunch

Hadoop関連(全部俺) Advent Calendar 2014:16日目の記事です#あと8日。そろそろ気力と体力の限界が、、、wordcountの最終回です。今日はApache Crunchです。CrunchでMapReduceとSp...