HDFSに小さなファイルを溜めるといくつかの問題が生じます。例えば、NameNodeのメモリを大量に消費したり、あるいは分散処理の際のパフォーマンスが劣化します。
この問題の原因、予防、対処法が書かれていたブログ記事の内容がかなり良かったので翻訳しました。是非ご覧下さい。
https://blog.cloudera.co.jp/small-files-big-foils-addressing-the-associated-metadata-and-application-challenges-2e0ce893723
blog.cloudera.co.jp
コメント