hadoop-logo
ようこそ Tech blogへ!
「これからHadoopを勉強しよう」という方はまず下記のページから

サイトの移行に伴って画像が表示されないなどの不具合が生じています

2013-12

Uncategorized

Goodbye 2013, Hello 2014

あと数時間で2013年も終わりです。このブログが象の普及に少しでも役立てば幸いです。 さて、来年の干支は午。馬といえばHBase(!?)。 馬は扱いにくいと言われますが、正しくチューニングしてしっかり監視をしておくことが安全な運用に繋がりま...
impala

Cloudera Impalaのアーキテクチャ

(本ブログは若干古くなっているので、Impala情報ページをご覧下さい。比較的新しい情報をまとめています)一人アドベントカレンダー25日目、最終日です。 最終日はCloudera Impala(以下Impala)について。Impalaは分...
Accumulo

Accumuloをインストールしてみる

23日目です 先週の金曜日に、CDH4.3でAccumuloが利用できるというブログが公開されました。Apache AccumuloはApache HBaseと同様に、GoogleのBigTableの論文を参考にして開発されています。Acc...
hive

Hadoopにlzoの環境構築(3)

20日目です 先日はJavaのMapReduceを使って、lzoで圧縮されたファイルを正しく処理できるかどうかの実験を行いました。今回はHiveやPig、Impalaを使って実験します。LzoよりもRCFileやParquetなどを使って圧...
YARN

YARNのスケジューラアルゴリズム

19日目です 先日MapReduce v1のスケジューラアルゴリズムというブログを書きました。YARN / MRv2 が推奨になりつつなる今、YARNでのスケジューラアルゴリズムも確認しておいた方が良さそうです。 ※CDH4.3での確認です...
hdfs

HDFS上のファイルに追記する

18日目です HDFSは当初Write Onceなファイルシステムでした。これは設計思想によるものです。Apache HDFSのドキュメントから引用します。 HDFS applications need a write-once-read-...
CDH5

Hadoopを10分で試す(番外編) Cloudera Manager 5 ベータ環境を簡単に試す(後編)

**この記事の内容は若干古くなっています。まとめページもご覧下さい** 17日目です 昨日はCloudera Demo VM仮想マシンをCloudera Manager 5 betaの環境にアップグレードしましたが、続いてその中で動作してい...
Cloudera Manager

Hadoopを10分で試す(番外編) Cloudera Manager 5 ベータ環境を簡単に試す(前編)

**この記事の内容は若干古くなっています。まとめページもご覧下さい** 16日目です。(土日は基本的に休み) 以前にCloudera Demo VMを使った「Hadoopを10分で試す」というブログシリーズを書きましたが、今回はその環境をC...
impala

Cloudera ImpalaとCatalog Serviceの話

14日目です 「Announcing Support for Impala with Amazon Elastic MapReduce」 でも紹介されているように、Amazon EMRでCloudera Impala(以下Impala)が...
MapReduce

Hadoopにlzoの環境構築(2)

13日目です #あまりに業務が忙しいので、来週の更新は滞るかもしれません、、、 昨日のブログでlzoのインデックスを作成しました。では、このファイルをMapReduceしてみます。