hive Impala, Hive, Presto, Spark のJOINに関するメモ
SQL on Hadoop でのJOIN時のテーブルの指定順序と挙動結合の種類にもよりますが、複数のテーブルを結合する際、一つのテーブルを全てのワーカーノードに転送して行う場合があります。(Broadcast JOIN)もちろん、統計情報を...
hive
hive 
hive Hive on Kuduの対応状況
Apache Hive から Apache Kuduを利用したいという要望 (HIVE-12971) は以前からありましたが、ついに対応されそうです。アナリティクス用途であれば Impala on Kudu で十分だと思うんだけど、Hive...
hive CSVデータをParquet形式に変換する
昨日の続きです。読むのが面倒な方は「まとめ」をどうぞ。
OpenCSVSerDeによるCSVデータの扱い
昨日はHueでCSV形式のデータをインポートしましたが、このデータをHive以外から利用するには不便です。
Apache Impala...
hive RDBMSからSqoopを用いてParquet形式でデータを取り込む
Hadoop上、または SQL on Hadoopで分析を行う場合、テキストファイル（CSVやJSONなど）をそのまま使うとパフォーマンス的に不利になる場合が多いです。（ファイルから改行文字や区切り文字を探して都度都度処理をすれば、当然遅く...
hive CDH 5.4でHive on Sparkを試す
Hive on Spark (on CDH5.4)※Hive on Sparkはテクノロジープレビュー扱いです。現時点ではサポート対象外なのでご注意を。CDH5.4に含まれているHiveはHive 1.1です。このバージョンのHiveから、...
hive Hue 3.8の新しい機能
最近いくつかのブログ記事を翻訳しましたが、Hadoop用のデファクトスタンダードなGUIであるHue、新しいバージョンのHue 3.8は素晴らしいものになりそうです。Hueのブログページ（日本語）Hue 3.8の機能（日本語のブログから抜粋...
hive Hive on Spark のベータ版！
Hive on Spark寝る間際に見てしまった、「Download the Hive-on-Spark Beta」という文字。下記のClouderaのブログによれば、Cloudera ManagerからHive on Sparkがセットア...
hive 祝！Hive 1.0.0 リリース
本日、Apache Hive 1.0.0 がリリースされました。ダウンロードはこちら -> 下記のブログからいくつか抜粋してみます
hadoop Hadoopのいろんな言語でwordcount(1)
Hadoop関連（全部俺） Advent Calendar 2014:14日目の記事ですApache Crunchを少し調べたついでに、Hadoopでいろんな言語を用いてwordcountを実行してみました。まずはMapReduce, Ha...
hive 2014年版 Hadoopを10分で試す(5) まずはHiveから（後編）
Hadoop関連（全部俺） Advent Calendar 2014:13日目の記事です＃既に10分を超えてしまったかもしれませんが、、、昨日はHiveが使用するメタストアについて紹介しました。テーブルは作成されていますが、まだデータがあり...