HDFSのスモールファイルの問題のブログ翻訳

HDFSに小さなファイルを溜めるといくつかの問題が生じます。例えば、NameNodeのメモリを大量に消費したり、あるいは分散処理の際のパフォーマンスが劣化します。

この問題の原因、予防、対処法が書かれていたブログ記事の内容がかなり良かったので翻訳しました。是非ご覧下さい。

小さなファイルが大きな問題を引き起こす - Cloudera Japan Official Blog
Hadoopクラスターでのスモールファイルの予防と対処について

コメント