hadoop-logo
ようこそ Tech blogへ！
「これからHadoopを勉強しよう」という方はまず下記のページから

サイトの移行に伴って画像が表示されないなどの不具合が生じています

2014年版 Hadoopを10分で試す(4) まずはHiveから（中編）

Hadoop関連（全部俺） Advent Calendar 2014:12日目の記事です
昨日はHueからHiveを使ってクエリを行いました。Hiveでのクエリの実行時には間接的にMapReduceのジョブが実行されています。CDH5ならMapReduce v2/YARN、もしくはMapReduce v1のいずれかです。
HueがあればHadoopをほとんど意識せずにHiveのクエリを実行できますが、今日はHiveについてもう少し詳しく見てみましょう。

  1. Hiveに関係する用語
  2. メタストアの役割
    1. sample_07テーブルの内容を直接みてみる
    2. 列の情報を探す
    3. シェルから確認する
    4. メタ情報に登録されている情報のまとめ
  3. Hueからテーブルを作成する
        1. 1. テーブルを作成
    1. 2. レコードのフォーマット
    2. 3. シリアル化
    3. 4. ファイルフォーマットの選択
    4. 5.データの保存場所
    5. 6. テーブルの列の設定
    6. 7. 完了
    7. 8. テーブルのディレクトリを表示
  4. シェルからテーブルを作成する

Hiveに関係する用語

まずはHiveに関する用語から。

用語説明
クライアントHiveクエリを実行する人、またはコマンドを実行するPC
HiveQLHiveクエリ言語。SQLに似ているがSQL92などに完全準拠ではない
HadoopクラスタHadoop(HDFS, YARN/MapReduce)が実行されている環境
メタストアHiveで使用するテーブルの情報（処理するデータの置き場所、テーブルの列の情報、その他のメタデータ）を格納するデータベース。デフォルトはApache Derby。しかし、複数のユーザがHiveを利用する場合など、一般的にはMySQLなどのRDBMSを使用した共有メタストアを準備する

 

メタストアの役割

まず、Hadoopはデータベースではありません。HiveはHadoop（Hadoop分散ファイルシステム）にあるデータを処理するために、HiveQLにより開始されるMapReduceジョブをHadoopクラスタに投入（サブミット）するだけです。Hadoopクラスタからみれば、ワードカウントや円周率を計算するようなMapReduceジョブを実行することと、何の違いもありません。
このとき、MapReduceとして処理するために用いられるのがメタストアです。
昨日実行したクエリを例にしてみましょう。

SELECT * FROM sample_07 ORDER BY salary DESC;

テーブルの名前は sample_07。ORDER BY salary としているので、少なくとも salary という列がありそうだことがわかります。
先ほど書いたように、Hiveで処理するテーブルのデータは（一般的に）HDFSに置かれています。Hiveのデフォルトでは、HDFSの /user/hive/warehouse/ ディレクトリ以下にテーブル名のディレクトリ（今回の場合はsample_07）があり、その下のディレクトリにデータが置かれています。Hueを使ってみてみましょう。

sample_07テーブルの内容を直接みてみる

HueのFile Browserから/user/hive/warehouse/sample_07ディレクトリを見ると、sample_07というファイルがありました。
sample07dir
これがクエリの対象となっているデータです。クリックしてファイルの内容をみてみると、テキスト形式のデータでした。
sample07dataこのように、今回のクエリで扱うテーブルは /user/hive/warehouse/sample_07ディレクトリ、データはsample_07というファイルで、ファイルフォーマットはテキスト形式です。

列の情報を探す

続いて salary 列を探すために、Hueのトップメニューの[Data Browser]から、[Metastore テーブル]を選択します。defaultというデータベース（これもディレクトリ名にマッチするのですが、今回は割愛）にsample_07とsample_08という2つのテーブルがあります。
metastore_default
sample_07テーブルをクリックすると、テーブルの列情報が確認できます。
metastore_sample_07_column
このテーブルは4列あり、順番に code STRING, description STRING, total_emp INT, salary INT となっています。従って、salary列は4列目、int型であることがわかりました。続いて[プロパティ]タブをクリックします。
metastore_sample07_property一部を抜粋してみると、テーブルに関する情報があることがわかります。

  • テーブル名：sample_07
  • データベース名：default
  • location（場所）: hdfs://quickstart.cloudera 8020/user/hive/warehouse/sample_07（一言で言えば、（あるサーバが管理している）HDFSの/user/hive/warehouse/sample_07ディレクトリということ。ちょっと表示が崩れてる？）
  • 入力フォーマット：     org.apache.hadoop.mapred.TextInputFormat

シェルから確認する

同じ情報は、hiveのコマンドラインシェルであるbeelineでも取得することができます。
注）今回はHiveServer2というHive用のサービスを経由してクエリを実行しています。このサービスを使用しない場合、hiveシェルを使用します。
[shell]
[cloudera@quickstart ~]$ beeline -u jdbc:hive2://quickstart.cloudera:10000/default -u cloudera –HiveServer2に接続
scan complete in 3ms
Connecting to jdbc:hive2://quickstart.cloudera:10000/default
Connected to: Apache Hive (version 0.13.1-cdh5.2.0)
Driver: Hive JDBC (version 0.13.1-cdh5.2.0)
Transaction isolation: TRANSACTION_REPEATABLE_READ
Beeline version 0.13.1-cdh5.2.0 by Apache Hive
0: jdbc:hive2://quickstart.cloudera:10000/def> DESCRIBE EXTENDED sample_07; –テーブルを表示
（略）
| NULL |
| Detailed Table Information | Table(tableName:sample_07,
dbName:default, owner:cloudera, createTime:1417945402, lastAccessTime:0,
retention:0, sd:StorageDescriptor(cols:[FieldSchema(name:code, type:string,
comment:null), FieldSchema(name:description, type:string, comment:null),
FieldSchema(name:total_emp, type:int, comment:null), FieldSchema(name:salary,
type:int, comment:null)],
location:hdfs://quickstart.cloudera:8020/user/hive/warehouse/sample_07,
inputFormat:org.apache.hadoop.mapred.TextInputFormat,
outputFormat:org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat,
compressed:false, numBuckets:0,
serdeInfo:SerDeInfo(name:null, serializationLib:org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe,
parameters:{serialization.format= | , field.delim= |
6 rows selected (1.476 seconds)
[/shell]
 
Hueでは表示されませんでしたが、一番最後に field.delim= と出力されていますね。目で見るのは難しいですが、これはデータの区切り文字がタブであることを意味しています。入力フォーマットが TextInputFormat というのは、1レコードが改行区切りのテキストであるということを示しています。

メタ情報に登録されている情報のまとめ

ここまでの話をまとめると、

SELECT * FROM sample_07 ORDER BY salary DESC;

は、

MapReduceにより、/user/hive/warehouse/sample_07/以下にあるタブ区切りのテキストデータ（レコードは改行区切り）を１行ずつ処理して、降順にソートする

ということになります。
従って、HiveQLからMapReduceジョブとして実行するために、メタストアが必須なのです。

Hueからテーブルを作成する

ここでテーブルを作成して、メタストアに登録される情報を確認しましょう。 Hue から作成するにはMetastore Managerの左側の[手動で新しいテーブルを作成]をクリックし、ウィザード形式で作成します。

1. テーブルを作成

sample_by_hueという名前にしてみます
create1

2. レコードのフォーマット

区切り文字です。今回は区切り文字付きにしてみました。Hiveでは、区切り文字のないデータ（例えば固定長データのように、先頭から10文字が1列目、次の3文字が2列目など）も扱うことができます。
create2

3. シリアル化

Hiveでは、いわゆるテーブルのセルに複数の情報を埋め込むネスト型をサポートしています。今回は使用しないのでデフォルトのままにします。
create3

4. ファイルフォーマットの選択

(HDFSに)保存されているデータの形式です。今回はCSV形式のデータを想定しているので、TextFileのままにします。
create4

5.データの保存場所

デフォルトのままにします。つまり、/user/hive/warehouse/<テーブル名>です。
create5

6. テーブルの列の設定

ここで列を追加していきます。
create6

7. 完了

sample_by_hueテーブルが作成されました。Metastore Managerでも表示されています。
created1

8. テーブルのディレクトリを表示

テーブルの作成が完了したので、/user/hive/warehouse ディレクトリをみてみましょう。sample_by_hue ディレクトリが作成されています。
created_hdfs

シェルからテーブルを作成する

ついでにbeelineシェルからもテーブルを作成してみましょう。（プロンプトは省略しています）
[shell]
> CREATE TABLE sample2 (a INT, b STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t";
No rows affected (0.972 seconds)
> DESCRIBE sample2;
+———–+————+———-+–+
| col_name  | data_type  | comment  |
+———–+————+———-+–+
| a         | int        |          |
| b         | string     |          |
+———–+————+———-+–+
2 rows selected (0.825 seconds)
>
[/shell]
Hueから確認することもできますが、スクリーンショットが多すぎるので省略します。
テーブルを作成しただけではデータがありません。長くなったので、明日のブログでデータをロードしてみましょう。

コメント

ホーム
トップ