Hadoopがzipをサポートしていない理由

夏なので、軽いネタをいくつか投稿していきます。

[質問] Hadoopって圧縮ファイルをサポートしているよね?例えばgzipとかbzip2とか。でも、何でzipはダメなの?意味わからへん。

という質問をもらったので、Jiraを調べてみました。結果、恐るべき事実が、、、

全ては2007年のことだった。Hadoopの作者でもある Doug Cuttingが Zipサポートのパッチを投稿した。
https://issues.apache.org/jira/browse/MAPREDUCE-210 (*1)

zipをサポートするというニーズも多く、開発も順調に進み、途中までテストも通っていよいよゴールも近づいていた。ところがリリース間近なある日のこと。zipは4GB超のファイルを扱えない(64bizのzipが必要)という課題が発覚!zipをサポートするという目論みは途中で頓挫してしまい、今に至っている。

***

今jiraがエラーになってしまい読めないため、後半はかなり記憶に頼って脚色していますが、対応したら、世界中から喜ばれると思いますよ 🙂

[*1] 2013/8/5 14:30現在、Jiraにもエラーが表示されてしまい閲覧できないという、恐るべき事態にw

[*2] さすがに復活しています

Pocket

Leave a Reply

Your email address will not be published. Required fields are marked *

CAPTCHA


日本語が含まれない投稿は無視されますのでご注意ください。(スパム対策)