Hue 2019年情報

このブログは「Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2019」の23日目の記事です。

先日Hueのプロジェクトサイトページ(https://gethue.com)がリニューアルされました。

その作業に伴って、現在日本語版Webページ (http://jp.gethue.com）へのアクセスができなくなっています。開発チームには確認/修正を依頼済みです。復旧後最新のブログ記事を翻訳予定ですが、復旧まで本ブログは英語サイトの記事にリンクします。

2019年末時点での最新バージョンはHue 4.6です。Hueのプロジェクトページには、昨年まで「Query. Explore. Repeat.」と記載されていたキャッチコピーが、今年は「Query. Explore. Share.」と変更されています。今後のバージョンでは共有がキーワードになるかもしれません。

今年は新機能目白押し、というよりも、エコシステムとの連携が強化された印象です。

・Docker/Kuberntes対応

Dockerを使って最新のHueを簡単に試すことができるようになりました。Dockerイメージの作成も簡単に行えます。

Docker等で使用する場合、デフォルトだとイメージに含まれている設定ファイル(hue.ini)が使用されてしまいますが、ランタイムでローカルの設定ファイルが使用できます。本番環境に導入する前に使ってみたい場合には便利ですね。詳細は上記のブログを参照してください。

SQLエンジンの対応

Druid、Hive on Tez、Hive LLAP等への対応が進んでいます。

Hueでは従来からHive、Impalaは利用できましたが、今年リリースされたHueでは Hive on Tezクエリ中にログを表示したり、実行中のクエリの進捗が表示できるようになってきています。また、右のペインでHiveのドキュメントも参照できるようになりました。

Druid
Quick Task: How to query Apache Druid analytic database
Hive on Tez
Hive on Tez integrations improvements
Phoenix
SQL querying Apache HBase with Apache Phoenix

Impalaのクエリ実行計画の表示

また、データ分析にApache Impalaを使用している方向けに便利な機能が加わりました。

元々Impalaのワーカーノード(Impalad)では、WebUI上からクエリの実行計画やプロファイルなどが表示できます。昨年のブログにも書いた通り、Hueのジョブブラウザーから実行計画が表示できるようになっていましたが、今年はクエリのプロファイルがさらに細かく可視化できるようになりました。クエリのチューニングなどには役立ちますね。