HadoopAdvent2014

CDH

CDH release history (Japanese | 日本語 )

Hadoop関連(全部俺) Advent Calendar 2014: 25日目の記事です カレンダー最終日&CDH5.3.0がリリースされたのを記念に、CDHのリリース履歴を1枚の図にまとめてみました。(かなり文字が小さいので、ダウンロ...
Cloudera Manager

Cloudera Manager 5.3にアップデート

Hadoop関連(全部俺) Advent Calendar 2014: 24日目の記事です #本日用に準備していたブログの仕込みが間に合わないため、明日にまわします 昨日CDHを5.3.0にアップデートしていたのですが、Cloudera M...
CDH

Cloudera 5.3.0 リリース!

Hadoop関連(全部俺) Advent Calendar 2014: 23日目の記事です Cloudera Managerのトップメニューには「新しいParcel」というアイコンがあり、アップデートされたパッケージがある場合にはパッケージ...
kafka

Apache Kafkaをセットアップ(続き)

Hadoop関連(全部俺) Advent Calendar 2014:22日目の記事です 昨日 Kafka のセットアップに失敗してしまったので、切り分けのために5ノードのLXCの環境を作って再度試してみました。
kafka

Apache Kafkaをセットアップ(途中まで)

Hadoop関連(全部俺) Advent Calendar 2014:21日目の記事です Apache KafkaはLinkedInで開発された分散型のメッセージングシステムで、大量のイベントとログデータを低レイテンシで収集/配信するために...
HBase

HBaseでバルクロード

Hadoop関連(全部俺) Advent Calendar 2014:20日目の記事です HBase徹底入門ももうすぐ発売される予定、HBaseの1.0.0RCも公開され、盛り上がってきました。HBaseのバルクロードを検証したときのメモを...
pig

2014年版 Hadoopを10分で試す(6) Pig

Hadoop関連(全部俺) Advent Calendar 2014:19日目の記事です 先日のHive編 (1),(2),(3) に続いてApache Pigです。Hive同様に、PigはMapReduceの上に位置するHadoopのエコ...
Spark

Apache Sparkでのデータの永続化を確認してみる

Hadoop関連(全部俺) Advent Calendar 2014:18日目の記事です Apache Sparkはインメモリで処理を行いますが、ReduceByKeyなどでシャッフルされるような場合はディスクに永続化されます。(参考情報:...
HBase

HBase 1.0.0 に向けてのまとめ

Hadoop関連(全部俺) Advent Calendar 2014:17日目の記事です 下記のツイートを見て知ったのですが、 ということで、ついにHBaseも1.0.0が秒読み(マダ)。本日17日に1.0.0RCブランチが登場するかもし...
crunch

Hadoopのいろんな言語でwordcount(3) : Apache Crunch

Hadoop関連(全部俺) Advent Calendar 2014:16日目の記事です #あと8日。そろそろ気力と体力の限界が、、、 wordcountの最終回です。今日はApache Crunchです。CrunchでMapReduceと...