LZO

hive

Hadoopにlzoの環境構築(3)

20日目です 先日はJavaのMapReduceを使って、lzoで圧縮されたファイルを正しく処理できるかどうかの実験を行いました。今回はHiveやPig、Impalaを使って実験します。LzoよりもRCFileやParquetなどを使って圧...
MapReduce

Hadoopにlzoの環境構築(2)

13日目です #あまりに業務が忙しいので、来週の更新は滞るかもしれません、、、 昨日のブログでlzoのインデックスを作成しました。では、このファイルをMapReduceしてみます。
hadoop

Hadoopにlzoの環境構築(1)

12日目です 今更ながら手元のHadoopクラスタにLZOの環境を構築しました。 Cloudera ManagerにはLZOのPercelレポジトリがあります。Cloudera Manager経由で構築した環境であれば、あえてソースからビル...