hive

hive

2014年版 Hadoopを10分で試す(4) まずはHiveから(中編)

Hadoop関連(全部俺) Advent Calendar 2014:12日目の記事です 昨日はHueからHiveを使ってクエリを行いました。Hiveでのクエリの実行時には間接的にMapReduceのジョブが実行されています。CDH5ならM...
hive

2014年版 Hadoopを10分で試す(3) まずはHiveから(前編)

Hadoop関連(全部俺) Advent Calendar 2014:11日目の記事です Cloudera Quickstart VMによりHadoopの環境が用意できました。HadoopのコアはHDFS(Hadoop分散ファイルシステム)...
Cloudera Manager

2014年版 Hadoopを10分で試す(1)

Hadoop関連(全部俺) Advent Calendar 2014:7日目 先週の研修中に、「Hadoopをこれから試してみたいけど、どこから始めたらいいでしょうか?」という質問がありました。 構築の勉強をしたいのであれば、今ならパブリッ...
CDH5

新!Hadoopを10分で試す(2) HueからHiveのクエリを実行する

**この記事の内容は若干古くなっています。まとめページもご覧下さい** 無事に起動したCloudera Quickstart VMを使用して、CDH5でいくつかのサービスを試していきましょう。本日はHiveのクエリです。
hive

Hadoopにlzoの環境構築(3)

20日目です 先日はJavaのMapReduceを使って、lzoで圧縮されたファイルを正しく処理できるかどうかの実験を行いました。今回はHiveやPig、Impalaを使って実験します。LzoよりもRCFileやParquetなどを使って圧...
hive

HueでCSVデータからHiveのテーブルを作る

(2018/12/26更新) HueでCSVからHiveテーブルを作る方法については、新しいブログ記事があります 4日目です。 本日はHadoopアドベントカレンダー2013の立候補がいないようなので...
CDH5

CDH5 beta1用のCSV SerDe

CDH5 beta1 (Hive 0.11)用のCSV SerDeが欲しかったので作成。CSV SerDeはO'Reillyの「プログラミングHive」にも掲載されている、Hive用のSerDe。
CDH5

Cloudera Impala 1.2でHiveのUDFを試す

Cloudera Impala 1.2リリース! Cloudera 5 (CDH5, Cloudera Manager 5)のアナウンスの陰に隠れて、Cloudera Impala 1.2が公開されています。このリリースで、ついに「ユーザー...
cloudera

Hadoopを10分で試す(7)再びHueからHiveとImpalaを使う

**この記事の内容は若干古くなっています。まとめページもご覧下さい** このブログシリーズの最後の記事は Cloudera Impalaです。 Cloudera Impala はSQLライクな言語を使用して、Hadoop(HDFS)やHBa...