続)Cloudera Impala 情報 (8) – Hadoop Source Code Reading編

Impala情報 2012/11/26

Hadoop Source Code Reading #13 11/26 資料まとめ(更新中)

  1. CDH4?Impala? とっくに本番環境に導入してあるぜ! ~まさに外道~
  2. hhttp://blog.father.gedow.net/2012/11/27/cloudera-impala-presentation/
    @GedowFather氏によるみんなの検証環境本番環境でのImpalaのベンチマーク。貴重な資料です!

  3. Inside Impala – Execution Tree and Node
  4. https://gist.github.com/4147497
    @repeatdlyさん、@oza_x86さんの発表資料

  5. ソースコードリーディングまとめ Togetter
  6. http://togetter.com/li/413784
    @76whizkidzさんによるまとめです。ありがとうございます!

Posted in Uncategorized

続)Cloudera Impala (7) 情報

Impala情報 2012/11/24

ニュース、ブログなど

  1. Cloudera Impala 低レイテンシクエリエンジン
  2. http://www.slideshare.net/shiumachi/impala-15324018
    @shiumachi氏によるImpalaの説明。初の日本語でまとまっている資料(?)。必見

  3. From Zero to Impala in Minutes
  4. http://zenfractal.com/2012/11/15/from-zero-to-impala-in-minutes/
    Apache Whirrを使用して EC2 にImpalaをセットアップする手順。これは面白い。

Posted in Uncategorized

続)Cloudera Impala 情報 (6) ブログ等

Impala情報 2012/11/21

ニュース、ブログなど

  1. ImpalaとHiveのインストール、設定、実行
  2. Cloudera Impala – Fast, Interactive Queries with Hadoop
    最初の手順としては良い記事。この日本語版を書こうと思っていて挫折中。。。商売抜きの話:Cloudera Manager使うと超簡単なので、お勧めです。あるいはImpalaの仮想マシンを使うと良いかと。

  3. Cloudera Impalaのチートシート
  4. Cloudera Impala Cheat Sheet
    Cheat Sheetというほどではないですが、このPreziを使ったスライドはなかなかいい感じですね

Posted in Uncategorized

続)Cloudera Impala 情報(4)

Cloudera Impala情報まとめ4

個人的に気になるCloudera Impalaのまとめ。過去の情報は)続 Cloudera Impala 情報(1)〜(3)あたりから探して下さい。別途整理して固定ページにする予定です。かなりわかりにくくてすいません。

Impala beta2リリース(2012/11/14)

  1. Cloudera Impala Beta (version 0.2) and Cloudera Manager 4.1.1 Now Available
  2. アップデートのブログ
    リリースしたということと、今後は2週間毎に更新して行くとのこと
    Cloudera Impala 1.0 Beta Release Notes
    バグフィックスと、impalad起動時にデフォルトのクエリオプションが指定できるようになった

    早速試してみなければ。。

ブログ記事

  1. Impalaのベンチマークブログ:Impala, Hive, MySQLの比較
  2. http://37signals.com/svn/posts/3315-how-i-came-to-love-big-data-or-at-least-acknowledge-its-existence
    複数のワークロードを使用し、Impala, Hive, MySQLで実測した比較。ノード数等はわからない。

  3. 外道父の匠:Cloudera Impala (Beta) File format & Compression codec
  4. http://blog.father.gedow.net/2012/11/12/cloudera-impala-file-format-compression-codec/
    ファイル形式と圧縮アルゴリズムの対応について。非常に良くまとまっていてお勧めです。

  1. QlikTech Integrates with Cloudera Impala to Deliver QlikView Direct Discovery for Big Data Analytics
  2. ニュース(海外)

    http://www.dailyfinance.com/2012/11/14/qliktech-integrates-with-cloudera-impala-to-delive

更新履歴 DailyFinanceのニュース追加 (2012/11/15 2:02)

Posted in Uncategorized

Cloudera Impalaのビルドができない件

Cloudera Impalaのビルドに失敗する (更新)

下記の通り、2012/11/9にアップデートされました。

@HenryR
You can now build Cloudera Impala from the public repository (with instructions for Centos users): https://github.com/cloudera/impala

以下は以前の情報—

ImpalaのソースコードはClouderaのgithubで公開されていますが、ソースからのビルドの際に玉砕している方が多いです。(2012/11/8の時点で知る限り、外道父さん (@GedowFather)How to install Cloudera Impala (Beta) on Debian意外の成功報告を見たことがない)

その理由ですが、先日紹介したpaper-trailの記事に以下のように書かれています。

The source code is available here. At this point, I should acknowledge that the Github repo doesn’t build out of the box, and we haven’t yet provided instructions on how to do so. There’s no great conspiracy behind this, just the annoying consequence of the number of hours in the day being finite. We can’t post the repo exactly as we have it internally at Cloudera for a couple of reasons: we rely on internal infrastructure for some of the build steps which can’t be easily replicated externally, and some of our test suites are customer-confidential. We were rushing (as ever) to get a release out the door, and we made the decision to postpone sorting out the build for the public repo until after the launch. Since that’s… now, I’ve been spending a little time figuring out what we can do. Build systems are not my expertise, and Impala’s is a little capricious due to the extent that we mix C++ (for the execution engine) and Java code (for the planning and metastore interaction). I hope to have something that can build – without tests – by the end of next week, that is by roughly November 9th.

11/9頃にアップデートするとのことなので、もう少し待つのが吉かもしれませんね(*1)。

*1: 遅れるのが常という噂も。。。

が、予定通り更新されました。いいね!

Posted in Uncategorized

続) Cloudera Impala 情報 (3)

Cloudera Impala情報まとめ3

個人的に気になるCloudera Impalaのまとめ。公式ページ、ニュースなどはおよび)続 Cloudera Impala 情報 (2) もご覧下さい。別途整理して固定ページにする予定です。

ニュース記事

  1. 「Hadoopは低遅延に向かう」、米クラウデラのアワダラーCTO

http://itpro.nikkeibp.co.jp/article/NEWS/20121107/435724/
ITPro 中田さんの記事。CDH5とImpalaの話。DremelとF1についての話も。

技術情報

  1. Impala Q&A

http://www.chopl.in/blog/2012/11/07/impala-q-and-a/
@choplinさんのブログ。Cloudera World Tokyo 2次会で、CTOとの技術的な話のまとめ。これは技術に興味がある方は必見。

  1. Cloudera World Tokyoにいってきた

http://d.hatena.ne.jp/tagomoris/20121108/1352346785
@tagomorisさんのブログ、tagomorisのメモ置き場より。

  1. Impala: Real-time Queries in Hadoop

11/7(?)に実施したImpalaのwebinarを録画したビデオ (60分)

  1. Cloudera Impala

http://www.slideshare.net/cloudera/impala-realtime-queries-in-hadoop
多分上記webnarのスライド

Impala near-Term Features: Cloudera World Tokyoで取ったメモ

※多分後日スライドが公開されると思いますが、少しだけ。
(続きを読む)

続)Cloudera Impala 情報(2)

Cloudera Impala情報まとめ2

個人的に気になるCloudera Impalaのまとめ。公式ページ、ニュースなどは)続 Cloudera Impala 情報をご覧下さい。別途整理して固定ページにする予定です。

みんなの検証結果

  1. Cloudera Impalaの性能評価(Hiveとの比較)お勧め!
  2. http://www.slideshare.net/sudabon/cloudera-impalahive-14995751
    @sudabon さんによるHiveとImpalaの比較スライド。某速攻レビューと違いきちんとまとまっている(苦笑)

  3. 外道父の匠:How to install Cloudera Impala (Beta) on Debianお勧め!
  4. http://blog.father.gedow.net/2012/11/06/how-to-install-cloudera-impala-beta-on-debian/
    まだ公式対応していないImpalaをDebianで動かしてしまうと言う素晴らしい記事

いくつかの質問と回答

  1. Isn’t Cloudera Impala doing the same job as Apache Drill incubator project? – ImpalaとDrillの違い
  2. http://www.quora.com/Cloudera-Impala/Isnt-Cloudera-Impala-doing-the-same-job-as-Apache-Drill-incubator-project

  3. Is Impala aiming to be an open source alternative to existing MPP solutions? – Impalaは既存のMPPソリューションに対するOSSの代替を狙っているのか
  4. http://www.quora.com/Cloudera-Impala/Is-Impala-aiming-to-be-an-open-source-alternative-to-existing-MPP-solutions

その他集めた情報(100%正確かどうかはわかりません)

  1. RHEL/CentOS6.2+以外のプラットフォームの公開予定
  2. hadoop-user MLによると、Debian対応のパブリックベータは11/19を目標にしているようです。
    自力でビルドできるようです(2012/11/6 外道父の匠参照)

  3. Impala Shell、Beeswax以外でのアクセス(例えばThrift)方法は?
  4. 現状はODBCのみ。現状Thriftの実装はBeeswaxのみとなっていて、将来的にはもう少し広範囲に利用できるらしい。

    (続きを読む)

続)Cloudera Impala 情報

Cloudera Impala情報まとめ

夜中に投稿したツイートがImpalaと共に駆け抜けて行ってしまったので、個人用にまとめておきます。頻繁にアップデートしているので更新履歴は最下部をご覧下さい。(11/05更新)

Hadoop World Video

  1. The Cube – Strata-Hadoop World 2012 – Marcel Kornacker
  2. http://www.youtube.com/watch?v=GJu2x3rlfSQ&feature=youtu.be

Cloudera公式 / Cloudera Official

  1. 米Cloudera: Cloudera Enterprise RTQ (Powered by Cloudera Impala)
  2. http://www.cloudera.com/content/cloudera/en/products/cloudera-enterprise-core/cloudera-enterprise-RTQ.html

  3. 米Cloudera Univerisy: Introduction to Impala: Cloudera Univesity – Cloudera eLarningトレーニング(無料!でも現在は英語のみ)
  4. http://training.cloudera.com/elearning/impala/

  5. 米Cloudera blog: Cloudera Impala: Real-Time Queries in Apache Hadoop, For Real
  6. http://blog.cloudera.com/blog/2012/10/cloudera-impala-real-time-queries-in-apache-hadoop-for-real/

  7. Cloudera ブログ(日本語):Cloudera Impala:Apache Hadoopで実現する、リアルのためのリアルタイムクエリ(上記の日本語版)
  8. http://www.cloudera.co.jp/blog/cloudera-impala-real-time-queries-in-apache-hadoop-for-real.html

  9. ソースコード / Source Code:GitHub
  10. (続きを読む)

Posted in Uncategorized