HUEについてのまとめ 2016年版

hue

 

（更新: 2018/12/23) 2018年版の記事も書きました

2016年現在、HadoopやHadoopエコシステムを使っているほとんどの方はHue（ヒュー）をご存知でしょう。しかし、過去にHadoopを使っていた方、あるいはこれからHadoopを使おうという方の中にはご存知ない方がいらっしゃるかもしれません。この記事ではHueについて改めて簡単に紹介します。

Hueとは？

Hueは Hadoop User Experience の略称で、Hadoopやエコシステム(Hive、Impala、HDFS、Sentry、Solr、Oozie….など）のためのユーザーインタフェースを提供しています。Apache HadoopのためのウェブベースのUIです。コマンドラインを使わずにHadoop上のデータを対話的にクエリしたり、ビジュアライズできる、超便利でクールなUIを提供しています。（日本語化されています！）
例えば、HDFSにファイルをアップロードする場合、

$ hdfs dfs -put access_log /upload_dir/20161223/

のようにコマンドを叩いたり、Hiveでクエリする場合に

$ beeline -u jdbc:hive2://localhost:10000 -u cloudera
0: jdbc:hive2://localhost:10000> SELECT COUNT(*) FROM customers;

のように、シェルからクエリを入力している方は多いでしょう。しかし、Hueを使えば、それぞれ
hdfs_upload
impala_mapのような感じでUIから利用できます。
DOS世代（？）やLinux遣いのターミナルを使うことに抵抗がないエンジニアにとってCUI環境は普通ですが、平成生まれで初めて使ったOSがWindows Me!やiOSだ、という方にはそうではないかもしれません。Hueがあれば、グラフィカルユーザーインタフェースからHDFSやHiveを直感的に使うことができます。
なお、AWSのAthenaもHueを（カスタマイズして）利用しているようです。


それでは、CDH5.9に含まれているHueの最新版(3.11)をベースに、Hueの機能を紹介します。

基本画面

Hueは上部のメニューから操作したいアプリケーション(HiveやImpala）を切り替えます。
hue_main

各メニューの詳細

1.マイドキュメント

HiveやImpalaのクエリ、Pigのスクリプト、Oozieのワークフローなどを保存しておけば、この画面からクリックして実行、表示できます。

mydocument

2. アプリケーションへのリンク

以下のカテゴリに分類されています。

Query Editors
  • Hive　（Hiveのクエリ、ビジュアライズ）
  • Impala　（Impalaのクエリ、ビジュアライズ）
  • DBクエリ　（汎用DBのクエリ）
  • Pig　（Pigのスクリプトを実行）
  • Job Designer　（MapReduceやHiveのスクリプトを登録してサブミット）

HiveやImpalaのクエリエディタは結果を表示するだけではなく、選択した列の表示、グラフ形式での表示（チャート）や地図へのマッピングなども可能です。また、CSVなどでのダウンロードもできます。（一部日本語訳がおかしいところがありますが、先日修正パッチを送ったので次バージョンで直ることに期待）
DBクエリは、例えばSqoopでインポートする前に、簡単にRDBMSにクエリを行いたい場合に便利です。
hive
Hive
impalaImpala
rdbms
DBクエリ
pig
Pigエディタ
jobdesigner
Jobデザイナー

Data Browsers
  • Metastoreテーブル　（Hiveのメタストアテーブルの参照、テーブル作成、削除など）
  • HBase　（HBaseテーブルの作成、表示、フィルタなど）
  • Sqoopによる転送　（Sqoop2の利用）

メタストアテーブルは、テーブルの表示だけではなく、テーブルの作成、削除などの機能もあります。
metastoremanager
メタストアマネージャー
hbase
HBaseブラウザ

WorlFlows
  • ダッシュボード　（Oozieのジョブのダッシュボード）
  • エディタ　（Oozieのワークフロー、コーディネータ、バンドルの作成、修正、サブミット）

Oozieを使っている方には必見です。
oozie_workflow
Oozieエディタ
ooziedashboardOozieダッシュボード

検索

  • Apache Solrのダッシュボードの作成、利用

solr検索ダッシュボード

3. ファイルブラウザとジョブブラウザ

HDFS用のファイルブラウザと、MapReduceやSparkのジョブの実行状況を見るためのジョブブラウザへのリンクです。

HDFS Browser

hdfsbrowser

Job Browser

jobbrowser

S3 Browser

手元の環境ではセットアップしていないのでスクリーンショットには表示されていないのですが、現在はS3用のファイルブラウザが利用できます。
s3icon

管理

ユーザー、グループの管理やプロファイルの修正が行えます。ユーザー与える役割を絞ることにより、利用できる操作を限定させることができます。これは新しいユーザーに与える役割を限定した場合です。上記のメニューと見比べてみてください。HiveやImpala、メタストア、その他多くの機能が使えないことがわかるでしょう。

まとめ

インストールするのは面倒だけどHueを触ってみたいという方のためにデモサイトが用意されています。 機能が限定されていますが雰囲気は掴めるでしょう。(http://demo.gethue.com)
Hueの操作は直感的にわかるものが多いので、個々の詳細説明は不要でしょう。新しい機能に興味がある方は、日本語版のHueブログで最新情報もチェックしてみてください。 (http://jp.gethue.com/blog)

参考情報

 

コメント