続）Cloudera Impala 情報

Cloudera Impala情報まとめ

夜中に投稿したツイートがImpalaと共に駆け抜けて行ってしまったので、個人用にまとめておきます。頻繁にアップデートしているので更新履歴は最下部をご覧下さい。（11/05更新）

Hadoop World Video

  1. The Cube - Strata-Hadoop World 2012 - Marcel Kornacker

    2. http://www.youtube.com/watch?v=GJu2x3rlfSQ&feature=youtu.be

Cloudera公式 / Cloudera Official

  1. 米Cloudera: Cloudera Enterprise RTQ (Powered by Cloudera Impala)
    2. http://www.cloudera.com/content/cloudera/en/products/cloudera-enterprise-core/cloudera-enterprise-RTQ.html
    www.cloudera.com
  2. 米Cloudera Univerisy: Introduction to Impala: Cloudera Univesity - Cloudera eLarningトレーニング（無料！でも現在は英語のみ）
    3. Training for Data Professionals | Cloudera Educational Services
    Cloudera University—the industry's only truly dynamic Hadoop training curriculum that’s updated regularly to reflect the state-of-the-art in big data.
    www.cloudera.com
  3. 米Cloudera blog: Cloudera Impala: Real-Time Queries in Apache Hadoop, For Real
    4. Cloudera Impala: Real-Time Queries in Apache Hadoop, For Real - Cloudera Blog
    After a long period of intense engineering effort and user feedback, we are very pleased, and proud, to announce the Cloudera Impala project. This technology is...
    blog.cloudera.com
  4. Cloudera ブログ（日本語）：Cloudera Impala：Apache Hadoopで実現する、リアルのためのリアルタイムクエリ（上記の日本語版）
    5. http://www.cloudera.co.jp/blog/cloudera-impala-real-time-queries-in-apache-hadoop-for-real.html
    www.cloudera.co.jp
  5. ソースコード / Source Code：GitHub


    6. https://github.com/cloudera/impala

  6. Cloudera公式: Download page
    7. https://ccp.cloudera.com/display/SUPPORT/Downloads
    ccp.cloudera.com
  7. Cloudera プレスリリース（Japanese）

    8. http://www.cloudera.co.jp/news-event/20121025.html

日本語のNews/Glog (Japanese)

  1. 日本語ブログ: Cloudera Impala がリリースされました - 科学と非科学の迷宮
    2. Cloudera Impala がリリースされました - 科学と非科学の迷宮
    (2012/10/25 15:48 追記)Cloudera 公式ブログで Impala についての紹介記事を掲載しました。このブログ記事の完全上位互換なのでそちらの記事をご参照ください。Cloudera Impala：Apache Hadoopで実現する、真のリアルタイムクエリ | Hadoopとビッグデータソリューシ...
    shiumachi.hatenablog.com
  2. 日本語ブログ:Impala速攻レビュー（昨日書いたブログ）
    3. impala速攻レビュー！！
    米国で開催されている Strata Conf + Hadoop World 2012 で、ついに Cloudera Impala（Public Beta) が発表されました！Impalaとは？Cloudera Impala (はオープン...
    linux.wwing.net
    2012.10.24
  3. CBA – Cloud News Japan: HadoopのSQL対応分散クエリエンジン「Cloudera Impala」。Clouderaがオープンソースで公開 [#cbajp ]

    4. HadoopのSQL対応分散クエリエンジン「Cloudera Impala」。Clouderaがオープンソースで公開

  4. PublicKey: HadoopのSQL対応分散クエリエンジン「Cloudera Impala」。Clouderaがオープンソースで公開
    5. HadoopのSQL対応分散クエリエンジン「Cloudera Impala」。Clouderaがオープンソースで公開
    Hadoopのディストリビューションベンダとして知られるClouderaは10月25日、SQLに対応し、データの分析速度はMapReduceよりも何倍も高速だという新しい分散クエリエンジン「Cloudera Impala」（製品名「Clou...
    www.publickey1.jp
  5. ClouderaがHadoop用リアルタイムクエリエンジンを発表
    6. ClouderaがHadoop用リアルタイムクエリエンジンを発表
    Hadoop用のリアルタイムクエリを高速に実現するプロダクトがApacheライセンスで登場。リアルタイムデータクエリとBI的な利用を両立させる手法に選択肢が広まる
    atmarkit.itmedia.co.jp
  6. グーグルの機密技術をオープンソースに活かす、情熱のパン職人


    7. グーグルの機密技術をオープンソースに活かす、情熱のパン職人
    「ただ、より多くの人に開かれたものがやりたかったんだ」。マルセル・コルナッカーは、グーグルの中枢ともいえるデータベース・システムの構築にチーフアーキテクトとして携わった。そんな彼がシリコンヴァレーのスタートアップClouderaに転職したのは2年前のことだ。
    wired.jp

International News / 海外のニュースサイト他

  1. New York Times: Big Data in More Hands
    2. Big Data in More Hands
    There is a lot more data around than statisticians and engineers who know how to analyze it. Cloudera and other software companies are trying to create programs...
  2. 米Wired: Man Busts Out of Google, Rebuilds Top-Secret Query Machine (Wiredの記事：開発者のMarcelとGoogle F1の話）必見です！
    http://www.wired.com/wiredenterprise/2012/10/cloudera-impala-hadoop/

  3. 米Wired:Marcel Kornacker, a software engineer with Cloudera（Cloudera Impalaの開発者のインタビュー）

    4. WORLD’S MOST WIRED Software Engineer

  4. 米Tableauプレスリリース：TableauからImpalaを利用できるように: Tableau Software Partners with Cloudera to Run Real-Time Big Data Queries with Cloudera Impala
    5. Tableau Software Partners with Cloudera to Run Real-Time Big Data Queries with Cloudera Impala
    Seattle, WA (PRWEB) October 24, 2012 -- Tableau Software, the global leader in rapid-fire business intelligence software, today announced it is one of the
    www.prweb.com
  5. 米ZDNet: Cloudera’s Impala brings Hadoop to SQL and BI
    6. Cloudera’s Impala brings Hadoop to SQL and BI | ZDNet
    Big Data darling Cloudera's Impala product promotes SQL to peer-level with MapReduce.
    www.zdnet.com
  6. Register: Cloudera's Project Impala rides herd with Hadoop elephant in real-time
    7. Cloudera's Project Impala rides herd with Hadoop elephant in real-time
    Life's no longer a batch
    www.theregister.com
  7. 米InformationWeek: Cloudera Debuts Real-Time Hadoop Query
    8. Cloud recent news | page 1 of 674 | InformationWeek
    www.informationweek.com
  8. We are in the era of Real-Time Analytics
    9. Good night, Posterous
    marcosluis2186.posterous.com
  9. datanami: Cloudera Runs Real-Time with Impala
    10. Cloudera Runs Real-Time with Impala
    This week at Strata Hadoop World we sat down Cloudera CEO, Mike Olson, to talk about the company's recent open sourced effort to add a real-time aspect to Hadoo...
    www.datanami.com
  10. Cloudera Impala: Processing Petabytes at The Speed Of Thought
    11. Cloudera Impala: Processing Petabytes at The Speed Of Thought
    Real-time query on Hadoop is "new era" for data management
    www.drdobbs.com
  11. Cloudera Impala

    12. http://the-paper-trail.org/blog/cloudera-impala/

技術情報サイト（日本語）

  1. 日本語ブログ:＠repeatedly さんによるまとめ
    2. Impala
    Impala. GitHub Gist: instantly share code, notes, and snippets.
    gist.github.com
  2. Impala BE メモ: @oza_x86 さんによる技術情報

    3. https://gist.github.com/3970461

リファレンス / References

  1. Dremelの論文
    2. Dremel: Interactive Analysis of Web-Scale Datasets – Google Research
    research.google
  2. Column File Format (カラムファイルフォーマット)：Trevni
    3. Trevni Specification – Trevni: A Column File Format
    avro.apache.org
  3. Apache Hive (Apache公式)
    4. Apache Hive TM
    hive.apache.org
  4. F1 - The Fault-Tolerant Distributed RDBMS Supporting Google's Ad Business

    5. http://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/en/us/pubs/archive/38125.pdf

Impala雑記

なお昨日PostしたImpalaの検証結果ですが、HDFS上にテキストファイルとしてMovieLensデータを格納しました。データストアは単なるHDFS（HBaseではない）で、フォーマットはSequenceFileではありません。（RCFileはまだ？サポートされてないから試せない）。
メタ情報とHDFSに格納しているデータは同一なので、Hiveで作成した同じテーブルに対してhiveとimpalaから順番にアクセスしたものです。
Impalaは現状パブリックベータ版です。UDFがなかったりと制約も多いので、単純にHive(MapReduce)の置き換えにならないケースも多いでしょう。でも実際ベータ版とはいえ既に広く本番環境で検証されていますし、既存のHiveテーブルに対するクエリがそのままImpalaから利用できる場合は強力です。
OSSでもありますし、今後Impalaがどんなスピードで進化してビッグなデータな世界を駆け抜けて行くのか、駆け抜けて行けるのか楽しみですね。
まぁ実際触っていただく方が100倍ご理解いただけるかなぁ、と思うので、インストールしなくても簡単に試せる仮想マシンイメージも用意されていますので、是非トライしてみてください！

更新履歴

2012/10/25 11:40 @repeatedly さんのまとめへのリンクを追加
2012/10/25 15:40 Clouderaの日本語ブログ記事、Dremel、Trevniへのリンクを追加
2012/10/25 17:15 Clouderaのプレスリリースを追加
2012/10/26 16:15 PublicKeyさんのブログ、ZDNetへのリンク他を追加、カテゴリを分離
2012/10/27 00:01 海外記事一件追加
2012/10/28 16:35 Hadoop WorldでのMercelのビデオを追加
2012/10/29 9:50 CBA – Cloud News Japanさんの記事を追加、ozaさんのImpalaの解析情報の追加
2012/10/29 14:45 New York Times の記事を追加
2012/10/29 16:14 @ITの記事を追加
2012/10/29 19:20 Google F1の資料、Impalaの開発者のMarcelのインタビュー記事を追加しました
2012/10/29 23:10 datanami追加
2012/10/30 23:10 Dr.Dobb'sの記事追加
2012/11/02 12:00 Wiredの日本語版の記事を追加
2012/11/05 12:00 Paper Trail の記事を追加