Apache Arrowとは

2月にApadheのトップレベルプロジェクトになったApache Arrowに注目しています。
一言で言えば「インメモリで列指向データを扱うための標準」を目指しているものです。

• Introducing Apache Arrow: A Fast, Interoperable In-Memory Columnar Data Structure Standard
• The Apache® Software Foundation Announces Apache Arrow™ as a Top-Level Project
• インメモリビッグデータシステムをつなぐ「Apache Arrow」
• [Slideshare] Apache Arrow (Strata-Hadoop World San Jose 2016)

注目度の高い理由の一つとしては、多くの主要OSSの開発者が関わっており、今後多くのプロジェクトで標準で利用できるようになる可能性が高いことです。Apache のブログによると以下のプロジェクトのコミッターが開発に関わっています。

• Calcite
• Cassandra
• Drill
• Hadoop
• HBase
• Impala (incubating)
• Kudu (incubating)
• Parquet
• Phoenix
• Spark
• Storm
• Pandas
• Ibis

Apache Arrow ではないですが、RとPythonのデータフレームの為の高速なディスク上のフォーマットを実現したFeatherが開発されています。

• Feather: A Fast On-Disk Format for Data Frames for R and Python, powered by Apache Arrow

Announcing Feather: A fast, language-agnostic data frame file format, by@hadleywickham and @wesmckinn https://t.co/t7JANhwPUh

— Wes McKinney (@wesmckinn) March 29, 2016

フォーマットが確定しているわけではないので、まだ本番環境で利用するのは避けたほうが良さそうですが、性能もかなり期待できそう。

@daroczig @hadleywickham @wesmckinn #rstats 1.8 Gb Medicare file:
saveRDS: 91 sec
write_feather: 8 sec
readRDS: 45 sec
read_feather: 8 sec

— Mark Danese (@mark_danese) March 30, 2016

今後のArrow、Featherに期待です。