MapReduce MapReduceの中間データを保持する（２）
昨年の夏、ブログ、MapReduceの中間データを保持する、を書いてからその後全く確認をしていなかったところ、何とCDH4.1.1で動かないことが判明！（当時はCDH4のリリース前だったので、CDH3で検証していた）結果として原因は些細なこ...
MapReduce 
hadoop Cloudera Manager 各エディションの比較
先日投稿した Cloudera Manager 4.6、各エディションの比較資料が公開されていました。Product Comparison:Cloudera Standardはかなり高機能になっていますね。検証環境を構築したり、個人（？）や...
hadoop Cloudera Manager 4.6 リリース
Cloudera Manager 4.6がリリースされました！Apache Hadoopは大規模に分散可能なソフトウェアです。１台でも実行できますが、数台〜数千台規模までスケールアウトでき、大量のデータを蓄積したり、分散して処理を行うことが...
hadoop プログラミングHive
プログラミングhive、6/15発売少し前にレビューのお手伝い(*1)をさせていただいた書籍、オライリーから「プログラミングHive」が出版されます。翻訳は象本や馬本などでおなじみ、読み易さ、安定感抜群の玉川さん。SQLライクにHadoop...
hadoop Hive本のOozie
縁あってHive本 (Programming Hive)をレビューさせていただいています。日本語版が楽しみです。動作検証をかなり時間をかけていたのですが、動かないクエリが多く、かなり苦戦しました。O'Reillyのエラータにも報告しました（...
hadoop Cloudera Impala 1.0 がリリースされました
Impala 1.0 Released当初の予定より若干遅くなりましたが、Imapalaがリリースされました！ImapalaはHiveと比較して低レイテンシで実行できるのが特徴です。試行錯誤しながらデータを「弄る」インタラクティブなクエリに...
hadoop Impala 0.7 リリース
本日、Cloudera Impala beta 0.7 がリリースされました。Q2中に公開される正式版リリース前の最終リリースとのことです。さすがに最終リリース前ということで、機能が盛りだくさんになっています。先日公開されたカラムナファイル...
hadoop [Tips] ドライバでReducerを指定しなかったら？
トレーニングをやっていると、やさしいものから超絶難しいものまでいろんな質問がやってきます。以下、調べたものをシェアします。今回はMapReduce編：Q. reduceの数を0に指定した場合、reducerは呼ばれるのか？A. -D map...
hadoop HDFSのappend機能を使った場合の編集ログ
編集ログとHDFSの追記以前、HDFSのfsimageとeditsの変更 | Tech Blogに書いたように、HDFSのeditsにはトランザクションが記録されます。HDFSのappend(追記)機能を使って書き込んだ場合、editsの内...
hadoop Cloudera Impalaでサッカーのデータを分析
Impalaをビッグデータの分析に使う昨日ツイッターにも書きましたが、サッカーの試合でセンサーからのデータを収集し、ClouderaのImapalaで分析するという例がClouderaのブログに掲載されています。これは DEBS (Dist...