Apache Impala 4.0 リリース!

impala

Impala 4.0 released

ImpalaはMPPのクエリエンジンです。およそ3年振りとなるApache Impala のメジャーバージョンアップデートが行われました。

リリースノートをざっと眺めてみて、気になる変更点をピックアップしてみます。

互換性を壊す大きな変更

  • LZOのサポート(もうそれほど使われてない気が)
  • Sentryのサポート(使っている人には重要)
  • CPUの機能でAVXのサポートが必須に(従来はSSSE3)

新機能の一部

  • マルチスレッド対応!(従来はScanとaggregationのみだった)
    これ、4年越しでクローズされてるチケットなので、効果のほどに期待ですね
  • TPC-DS 99クエリがそのまま実行
  • GROUPING SETS, ROLL UP, CUBEのサポート(ついに!嬉しい)
  • INTERSECT, EXCEPTの対応
  • S3へのスピル
  • ストレージ系(Read only Hive full-ACID ORC, Iceberg support experimental, Ozone, GCS)
  • セキュリティ系

改善の一部

  • プランナー、オプティマイザー、パフォーマンス改善(かなり多くの修正が入っている)
  • メタデータ管理の改善

今回のバージョンのパフォーマンスが気になりますね。今回のアップデートに合わせて Impala Quickstart も更新されたようなので、Dockerで実行したい人はこちらもご覧ください。(あとで試してみる)
https://github.com/apache/impala/blob/master/docker/README.md

コメント