HUEについてのまとめ 2016年版

2016年現在、HadoopやHadoopエコシステムを使っているほとんどの方はHue(ヒュー)をご存知でしょう。しかし、過去にHadoopを使っていた方、あるいはこれからHadoopを使おうという方の中にはご存知ない方がいらっしゃるかもしれません。この記事ではHueについて改めて簡単に紹介します。

(続きを読む)

HueからRDBMSをクエリする

Hueには、SQL on Hadoopとして一般的な、HiveやImpalaにクエリを行うためのクエリエディタが用意されています。最新のHueではクエリエディタが改善され、とても使いやすくなりました。一押しです。

hue1が、今回はクエリエディタ機能の説明ではありません。別のブログネタを仕込む途中に必要が生じたので、HueのDBクエリの設定を行います。

(続きを読む)

Hueのヘッダを変更する

Hueのブログにトップバナーを変更する方法が掲載されていたので、手元の環境でもやってみました。

http://gethue.com/add-a-top-banner-to-hue-2/?lang=ja

hue_banner

上記のスクリーンショットの黄色いバナー(と文字列)が追加したものです。

テスト環境と本番環境につなげる場合、色で区別するのはわかりやすいですね。

(続きを読む)

Spark Casual Talk #1でライトニングトークしてきました

昨日行われたSpark Casual Talk #1で「カジュアル」なライトニングトークをしてきました。資料は下記からどうぞ。(本番はもう少し過激な内容でしたが、、)

LTではLearning Sparkの宣伝に注力しすぎてしまったので、ちょっと言い足りなかったことの補足を。

HueのノートブックがZeppelinやJupyter/IPython Notebookと比べて知名度が低いのは否めませんが、Hadoopのエコシステムと連携するのには向いていると思います。例えば、以下のようなケース: (続きを読む)

HueからOozieの実行時にエラーになる場合の対策

Cloudera Quickstart VMで、HueからOozieのワークフロー実行時に

「Error: E0901 : E0901: Namenode [localhost:8020] not allowed, not in Oozies whitelist」

のようなエラーが出る場合の対策ですが、下記に回避方法が出ています。

http://community.cloudera.com/t5/Batch-Processing-and-Workflow/Running-Oozie/m-p/9400#M320

以下は日本語の情報が必要な方向けに、、、

(続きを読む)

Hue 3.8の新しい機能

最近いくつかのブログ記事を翻訳しましたが、Hadoop用のデファクトスタンダードなGUIであるHue、新しいバージョンのHue 3.8は素晴らしいものになりそうです。

Hueのブログページ(日本語)

http://gethue.com/blog/?lang=ja

Hue 3.8の機能(日本語のブログから抜粋)

例えば上記にある通り、Hue 3.8は Hive 1.1とImapala 2.2に対応する予定です。また、今回のバージョンでクールだと思うのは、個人的にはNoteBook UIかな、、、HiveQLやImpalaのクエリを入力したり、SparkもREPLで入力/実行できるのは素晴らしいです。

Hue 3.8はおそらくCDH5.4に含まれると思うので、きっともうすぐですね

Hueの最新版をビルドする

以前、ソースコードからHueをビルドしたことがあります。(Hue 3.5をビルドする

その後はパッケージ版の機能で満足していたのですが、本日gethue.comで公開されたブログで「数分でHueの開発をMacで始める!」という内容だったので、さっそく手元で試したところ、手元の環境ではうまくいかず、、、。

おそらくJavaのバージョンが古いのが原因じゃないかとは思います。しかし手元の環境では、あるアプリの制約によりJavaをアップデートできないので、いつもの通り Quickstart VMに環境を作って試してみました。Quickstart VM万歳 (続きを読む)

2014年版 Hadoopを10分で試す(5) まずはHiveから(後編)

Hadoop関連(全部俺) Advent Calendar 2014:13日目の記事です

#既に10分を超えてしまったかもしれませんが、、、

昨日はHiveが使用するメタストアについて紹介しました。テーブルは作成されていますが、まだデータがありません。今日のデータのロードでHive編完了です。 (続きを読む)