kernel023

CDH

Cloudera 5.3.0 リリース!

Hadoop関連(全部俺) Advent Calendar 2014: 23日目の記事ですCloudera Managerのトップメニューには「新しいParcel」というアイコンがあり、アップデートされたパッケージがある場合にはパッケージの...
kafka

Apache Kafkaをセットアップ(続き)

Hadoop関連(全部俺) Advent Calendar 2014:22日目の記事です昨日 Kafka のセットアップに失敗してしまったので、切り分けのために5ノードのLXCの環境を作って再度試してみました。
kafka

Apache Kafkaをセットアップ(途中まで)

Hadoop関連(全部俺) Advent Calendar 2014:21日目の記事ですApache KafkaはLinkedInで開発された分散型のメッセージングシステムで、大量のイベントとログデータを低レイテンシで収集/配信するために使...
HBase

HBaseでバルクロード

Hadoop関連(全部俺) Advent Calendar 2014:20日目の記事ですHBase徹底入門ももうすぐ発売される予定、HBaseの1.0.0RCも公開され、盛り上がってきました。HBaseのバルクロードを検証したときのメモを紹...
pig

2014年版 Hadoopを10分で試す(6) Pig

Hadoop関連(全部俺) Advent Calendar 2014:19日目の記事です先日のHive編 (1),(2),(3) に続いてApache Pigです。Hive同様に、PigはMapReduceの上に位置するHadoopのエコシ...
Spark

Apache Sparkでのデータの永続化を確認してみる

Hadoop関連(全部俺) Advent Calendar 2014:18日目の記事ですApache Sparkはインメモリで処理を行いますが、ReduceByKeyなどでシャッフルされるような場合はディスクに永続化されます。(参考情報:A...
hadoop

Hadoopに日本人のコミッター誕生!

これは素晴らしいですね。お二人ともおめでとうございます! Congrats! New Hadoop Committers - Akira Ajisaka and Tsuyoshi Ozawa
HBase

HBase 1.0.0 に向けてのまとめ

Hadoop関連(全部俺) Advent Calendar 2014:17日目の記事です下記のツイートを見て知ったのですが、ということで、ついにHBaseも1.0.0が秒読み(マダ)。本日17日に1.0.0RCブランチが登場するかもしれませ...
hadoop

Hadoop入門

ようこそ Tech blogへ!これからHadoopを勉強しよう、という方の訪問が多いようなので、そのような方はまず下記のページからどうぞ。 Hadoop入門: Hadoopを10分で試す: 2016/5/10 Apache Im...
crunch

Hadoopのいろんな言語でwordcount(3) : Apache Crunch

Hadoop関連(全部俺) Advent Calendar 2014:16日目の記事です#あと8日。そろそろ気力と体力の限界が、、、wordcountの最終回です。今日はApache Crunchです。CrunchでMapReduceとSp...