Kudu情報まとめ

(Photo by freepik)
Clouderaが開発した新しいストレージエンジン、Kudu（クドゥ）に関する情報のまとめページです。徐々に拡充させる予定です。
2017/2/10

• [Blog]: Qiita: Cloudera Enterprise 5.10でApache Kuduを使う
  • Qiitaに寄稿したので興味があれば是非

2017/2/7

• [News]: Cloudera Enterprise 5.10でApache Kuduがサポート対象に！
  • Cloudera Enterprise 5.10がGAに
• [blog]: Apache Kudu: リアルタイム分析のトップユースケース

2016/9/26

• [News]: Kudu 1.0 リリース！ついに1.0が登場

  • Apache Kudu 1.0.0 released

• [Blog]: Apache Kudu at Strata+Hadoop World NYC 2016
  • Hadoop World でのKuduに関するセッション

• [Blog] Apache Kudu and Apache Impala (Incubating): The Integration Roadmap
  • 改良されたKuduとの統合によりImpalaのユーザーは新しいパフォーマンスとユーザビリティの利益が期待できる

2016/9/1

• [Blog]: FlumeからKuduにデータを流し込める、Flume Kudu Sink
  • An Introduction to the Flume Kudu Sink

2016/7/26

• ついにApacheのトップレベルプロジェクトに！
• [Blog] Apache Kudu is now a Top-Level Apache Software Foundation Project
• [Blog] http://kudu.apache.org/2016/07/25/asf-graduation.html

2016/6/14

• [News] Kudu 0.9.0リリース
  • UPSERT対応、Sparkとの統合の強化

2016/5/10

• [PDF] Using Kafka and Kudu for Fast, Low-latency SQL Analytics on Streaming Data
  • Apache Big Data 2016でのKafkaとKuduの話。Kafka connect pluginの話がある

2016/4/26

• [Blog] Ingesting JSON Data Into Apache Kudu with StreamSets Data Collector
  • 動画が非公開になってる...

2016/4/24 追記

• [Blog] How-to: Use Impala and Kudu Together for Analytic Workloads
  • ImpalaとKuduを組み合わせた分析ワークロードはどう実現されているかの話。Impala-Kuduでは更新、削除、追加もできるので、頻繁に更新されるデータを素早く分析したい場合にはHive/Impala+HDFS(Parquet)の組み合わせよりも有利。

2016/4/13 追記

• [News] Apache Hadoopストレージ層を補完するストレージエンジン「Apache Kudu 0.8」公開　
• [Slide]Kuduの技術情報もかなり豊富
  Apache Kudu (Incubating): New Hadoop Storage for Fast Analytics on Fast Data
• [Slide] KafkaとKuduの組み合わせ (PPT)
  Fast data made easy with Apache Kafka and Apache Kudu (incubating)

• The moment we've all been waiting for! @ApacheKudu support merged into @ApacheImpala main-line https://t.co/Af4FCNon9m (thx @dribeiroalves!)

  — Todd Lipcon (@tlipcon) March 15, 2016

2016/2/8

• Hadoop / Spark Conference Japan 2016 でのToddの公演
  • http://www.eventbrite.com/e/hadoop-spark-conference-japan-2016-tickets-20809016328
  • [Slide] 公演資料: Slideshare Apache Kudu Fast Analytics on Fast Data （Hadoop / Spark Conference Japan 2016講演資料）
• [記事] クラウドWatch: Hadoopは分散処理のプラットフォームになる～米Clouderaエンジニア - Todd Lipcon

2015/11/18 追記

• ClouderaがImpalaとKuduをApacheソフトウェア財団に寄贈の提案: これはすごい。画期的。
  Cloudera Proposes to Donate Impala and Kudu to The Apache Software Foundation
  

  

  Cloudera Proposes to Donate Impala and Kudu to The Apache Software Foundation

  Cloudera Proposes to Donate Impala and Kudu to The Apache Software Foundation

  

  www.cloudera.com

2015/11/15 追記

• 新製品 Kudu 及び RecordServiceの概要 - slideshare
  Cloudera CTO、Dr. AmrによるKuduとRecordServiceの講演資料です。日本語になった資料としては一番わかりやすいかと。
  

  

  301 Moved Permanently

  

  www.slideshare.net

• Running Kudu with MapReduce framework (Lightning talk in Cloudera World Tokyo)
  OzawaさんによるCloudera World Tokyo 2015でのライトニングトーク資料
  

  

  Running Kudu with MapReduce framework (Lightning talk in Cloudera World Tokyo)

  Running Kudu with MapReduce framework (Lightning talk in Cloudera World Tokyo) - LT1.md

  

  gist.github.com
• Kuduをビルドする
  Fkuro_さんによるKuduのビルド記事
  

  

  Kuduをビルドする - Qiita

  Kuduとは Kuduの概要についてはこちらで公開されていますのでご覧下さい。 Kuduのビルド方法 インストールドキュメントを見ながら進めます。 環境はIDCFの仮想サーバを使っています。 REHL 6が推奨されています...

  

  qiita.com

(2015/10/9更新) プログラミングに関するトピックを追加

Kudu公式情報

• Project Home: http://getkudu.io/
• Twitter: @getkudu https://twitter.com/getkudu
• GitHub: https://github.com/cloudera/kudu

Kuduとは

KuduはHDFSとHBaseを補完する、Hadoopの新しいストレージエンジンです。KuduはHadoopのHDFSやHBaseを置き換えるものではなく、これらを補完するものです。
Kuduにより頻繁に追加/更新されるデータを、素早くクエリすることができるようになります。

• プレスリリース（英語）：Cloudera Launches Kudu, New Hadoop Storage for Fast Analytics on Fast Data
• プレスリリース（日本語）：Cloudera、新Hadoopストレージ「Kudu」を発表、ファストデータの高速分析を可能に Hadoopでのリアルタイム分析を可能にする新しいオープンソースプロジェクトが、パブリックベータに
• Vision Blog （英語）：Introducing Kudu: The New Hadoop Storage Engine for Fast Analytics on Fast Data
• Developer Blog （英語）: http://blog.cloudera.com/blog/2015/09/kudu-new-apache-hadoop-storage-for-fast-analytics-on-fast-data/
• Developer Blog （日本語翻訳版）：Kudu (クドゥ) : HDFSとHBaseを補完する、Hadoopの新しいストレージエンジン

Kuduのプレゼン資料

• [動画] Kudu: Resolving transactional and analytic trade-offs in Hadoop (Strata + Hadoop World 2015)
  • Kuduの開発者、Todd Lipcon による世界初公開のプレゼン。要O'Reilly等のアカウント（無料）
• [日本語] 新製品 Kudu 及び RecordServiceの概要 - slideshare
  http://www.slideshare.net/Cloudera_jp/kudu-recordservice-cwt2015

Kuduのアーキテクチャ

• Kudu architecture: http://getkudu.io/overview.html#architecture
• White paper：Kudu: Storage for Fast Analytics on Fast Data

 Kuduの情報

• プログラミング
  • WRITING A SIMPLE KUDU JAVA API PROGRAM
    • Java APIを使ったプログラミング
  • Getting started with the Cloudera Kudu storage engine in Python
    • PythonからKuduにアクセスする
• [Japanese] Kuduをビルドする
• Kudu + Impala
  • KuduのQuickstartを試す 
• Kuduのブログ

Kuduニュース

• 2015/10/6
  • [News] Cloudera Launches Kudu, New Hadoop Storage for Fast Analytics on Fast Data
• 2015/10/2
  • [News] ZDNet: Cloudera、「Hadoop」の新セキュリティレイヤとストレージエンジンを発表
• 2015/9/30
• • [News] ZDNet :Cloudera introduces RecordService for security, Kudu for streaming data analysis
• 2015/9/29
  • [News] IT-Pro: 米Cloudera、Hadoop用の新ストレージ「Kudu」をOSSとして公開
• • [Tech] DBMS2: Introduction to Cloudera Kudu (Part1)
  • [Tech] DBMS2: Cloudera Kudu Deep Dive (Part 2)
  • [Tech] DMBS2: The potential significance of Cloudera Kudu (Part 3)
  • [Video]: Real-time and Big Data Analytics with Kudu">Zoomdata: Real-time and Big Data Analytics with Kudu
    • ZoomDataによるKuduを使ったリアルタイム分析のデモ動画
  • [News] Datanami:Cloudera Unveils Kudu, a Fast New Storage Option for Hadoop
  • [News] InfoWorld:Cloudera's Kudu: Like HDFS and HBase in one
  • [News] SiliconAngele:Apache Kudu: How Cloudera wants to save Hadoop by killing it
• 2015/9/28
  • [Japanese] Blog: KuduのQuickstartを試す 
  • [Japanese] Blog: Kuduリリース！