hive Hadoopにlzoの環境構築(3)
２０日目です先日はJavaのMapReduceを使って、lzoで圧縮されたファイルを正しく処理できるかどうかの実験を行いました。今回はHiveやPig、Impalaを使って実験します。LzoよりもRCFileやParquetなどを使って圧縮...
hive YARN YARNのスケジューラアルゴリズム
１９日目です先日MapReduce v1のスケジューラアルゴリズムというブログを書きました。YARN / MRv2 が推奨になりつつなる今、YARNでのスケジューラアルゴリズムも確認しておいた方が良さそうです。※CDH4.3での確認です。C...
hdfs HDFS上のファイルに追記する
１８日目ですHDFSは当初Write Onceなファイルシステムでした。これは設計思想によるものです。Apache HDFSのドキュメントから引用します。HDFS applications need a write-once-read-ma...
CDH5 Hadoopを10分で試す（番外編） Cloudera Manager 5 ベータ環境を簡単に試す（後編）
＊＊この記事の内容は若干古くなっています。まとめページもご覧下さい＊＊１７日目です昨日はCloudera Demo VM仮想マシンをCloudera Manager 5 betaの環境にアップグレードしましたが、続いてその中で動作しているH...
Cloudera Manager Hadoopを10分で試す（番外編） Cloudera Manager 5 ベータ環境を簡単に試す（前編）
＊＊この記事の内容は若干古くなっています。まとめページもご覧下さい＊＊１６日目です。（土日は基本的に休み）以前にCloudera Demo VMを使った「Hadoopを10分で試す」というブログシリーズを書きましたが、今回はその環境をCDH...
impala Cloudera ImpalaとCatalog Serviceの話
１４日目です「Announcing Support for Impala with Amazon Elastic MapReduce」でも紹介されているように、Amazon EMRでCloudera Impala（以下Impala）が利用で...
MapReduce Hadoopにlzoの環境構築(2)
１３日目です＃あまりに業務が忙しいので、来週の更新は滞るかもしれません、、、昨日のブログでlzoのインデックスを作成しました。では、このファイルをMapReduceしてみます。
hadoop Hadoopにlzoの環境構築(1)
１２日目です今更ながら手元のHadoopクラスタにLZOの環境を構築しました。Cloudera ManagerにはLZOのPercelレポジトリがあります。Cloudera Manager経由で構築した環境であれば、あえてソースからビルドす...
hue Hueの日本語ブログに記事を追加
１１日目ですHueの日本語ブログに3つの記事を公開しました。 Hadoopチュートリアル: 任意のOozieジョブをHDFSから直接サブミットする Hadoopチュートリアル: PigエディタのNavigatorによる言語アシスタント Hu...
hdfs HDFSのパフォーマンス改善（アドバイザリーキャッシュの設定）
１０日目です以前もHDFSのパフォーマンス改善についてのブログ（キャッシングの導入とmmapを使ったゼロコピー）を書きましたが、本日たまたま見つけた（かつ、最新版には取り込まれていた）、ファイルベースでHDFSアドバイザリーキャッシュを設定...