HDFS

hadoop

HDFSの暗号化

Hadoopのセキュリティについての雑記認証についてはKerberosを使うというのがスタンダードですが、暗号化についても徐々に進んでいます。ネットワークの暗号化例えば、ネットワークの暗号化については下記のブログがお勧めです。
hadoop

HDFSのショートサーキット雑感

HDFSのShort-Circuit Local Readについてのブログ記事を読んで先週お盆休みに公開されたブログ、「How Improved Short-Circuit Local Reads Bring Better Performa...
hadoop

HDFSのappend機能を使った場合の編集ログ

編集ログとHDFSの追記以前、HDFSのfsimageとeditsの変更 | Tech Blogに書いたように、HDFSのeditsにはトランザクションが記録されます。HDFSのappend(追記)機能を使って書き込んだ場合、editsの内...
hadoop

HDFSのfsimageとeditsの変更

HadoopのHDFSでは、NameNodeと呼ばれるノードがメタデータをディスク上に記録します。Hadoopのバージョンが上がりこれらのファイル名(と意味合い)が変更されていますが、象本3版(英語)にも反映されていません。CDH3とCDH...