LZO

hive

Hadoopにlzoの環境構築(3)

２０日目です先日はJavaのMapReduceを使って、lzoで圧縮されたファイルを正しく処理できるかどうかの実験を行いました。今回はHiveやPig、Impalaを使って実験します。LzoよりもRCFileやParquetなどを使って圧縮...
2013.12.20
hive
MapReduce

Hadoopにlzoの環境構築(2)

１３日目です＃あまりに業務が忙しいので、来週の更新は滞るかもしれません、、、昨日のブログでlzoのインデックスを作成しました。では、このファイルをMapReduceしてみます。
2013.12.13
MapReduce
hadoop

Hadoopにlzoの環境構築(1)

１２日目です今更ながら手元のHadoopクラスタにLZOの環境を構築しました。Cloudera ManagerにはLZOのPercelレポジトリがあります。Cloudera Manager経由で構築した環境であれば、あえてソースからビルドす...
2013.12.12
hadoop