hadoop-logo
ようこそ Tech blogへ!
「これからHadoopを勉強しよう」という方はまず下記のページから

サイトの移行に伴って画像が表示されないなどの不具合が生じています

LZO

hive

Hadoopにlzoの環境構築(3)

20日目です 先日はJavaのMapReduceを使って、lzoで圧縮されたファイルを正しく処理できるかどうかの実験を行いました。今回はHiveやPig、Impalaを使って実験します。LzoよりもRCFileやParquetなどを使って圧...
MapReduce

Hadoopにlzoの環境構築(2)

13日目です #あまりに業務が忙しいので、来週の更新は滞るかもしれません、、、 昨日のブログでlzoのインデックスを作成しました。では、このファイルをMapReduceしてみます。
hadoop

Hadoopにlzoの環境構築(1)

12日目です 今更ながら手元のHadoopクラスタにLZOの環境を構築しました。 Cloudera ManagerにはLZOのPercelレポジトリがあります。Cloudera Manager経由で構築した環境であれば、あえてソースからビル...