Apache Mesos

分散システムでは、複数のコンピュータのリソース（CPUやメモリ）の管理、スケジューリングを行う必要があります。一襟として、Apache Hadoop にもリソース管理が含まれ、 YARN コンポーネントがその役目を担います。Kubernetes でもコンテナのリソース管理を自身の仕組みで行っています。

Apache Mesos は、クラスタのリソース管理を行うためのオープンソースプロジェクトです。カリフォルニア大学バークレー校で開発されました。YARNはHadoopと比較的に密連携しているのに対し、Mesosは汎用目的という違いがあります。

複数のリソース管理の仕組みに対応しているソフトウェアもあり、例えば Apache Spark では、4種類のリソース管理に対応しています。

• Standalone (Spark独自)
• Apache Mesos
• Hadoop YARN
• Kuberentes (*1)

*1: Spark on Kubernetes は Spark 3.1 .1でGA

Apache Mesos終焉の投票

ところが鰺坂さんがツイートしているように、Mesos を Apache Project から終焉させるかどうか？という投票が始まっています。

Mesos終了の投票スレhttps://t.co/SM4quQ0VIA

— Akira Ajisaka (@ajis_ka) April 6, 2021

過去には Mesos は Docker の管理などに広く使われていたものの、現状では Kubernetes １強になったことがその一因だと思われます。

YARN はどうなる？

以下のスレッドで Hadoop の PMC の Wei-Chiu が次のように語っているので、当面は大丈夫でしょう！（きっと）

We still have a full team working on YARN so probably not so soon

— Wei-Chiu Chuang (@jojochuang) April 6, 2021

さらに

K8s is still not optimized for big data workloads. Although that is changing with Apache YuniKorn

… と思って最近追いかけてなかった Yunikorn のプロジェクトページを見たところ、リッチになっていました。

Welcome to Apache YuniKorn | Apache YuniKorn

Apache YuniKorn website

yunikorn.apache.org

雑感

OSSの世界でも生存競争は熾烈を極めるので、新しいプロジェクトが勢いを増していくのは当然のことです。しかし、現状はOSSを完全にボランティアだけで行うのは難しく、OSSを商用ビジネスにするような企業が増えることで成り立っていることも多いです。Mesosが終焉を迎えるのはKubernetesの存在が大きいですあ、強力なスポンサーの存在があったら状況は変わっていたのかもしれません。

私見ですが、好きなOSSがある場合、企業または個人としてOSSを利用するだけではなく何らかの貢献を行って盛り上げていきたいですね。金銭的な支援という方法もありますが、ソースコードを書けなくても、バグ報告やテスト、ドキュメント作成やそれこそ認知度アップまでいろんな関わり方があります！