Hadoopにlzoの環境構築(3)

20日目です

先日はJavaのMapReduceを使って、lzoで圧縮されたファイルを正しく処理できるかどうかの実験を行いました。今回はHiveやPig、Impalaを使って実験します。LzoよりもRCFileやParquetなどを使って圧縮されたファイルのスプリットをやるべきかもしれませんが、本日は余力がないので簡単に。 (続きを読む)