HDFS

hadoop

HDFSの暗号化

Hadoopのセキュリティについての雑記 認証についてはKerberosを使うというのがスタンダードですが、暗号化についても徐々に進んでいます。 ネットワークの暗号化 例えば、ネットワークの暗号化については下記のブログがお勧めです。
hadoop

HDFSのショートサーキット雑感

HDFSのShort-Circuit Local Readについてのブログ記事を読んで 先週お盆休みに公開されたブログ、「How Improved Short-Circuit Local Reads Bring Better Perform...
hadoop

HDFSのappend機能を使った場合の編集ログ

編集ログとHDFSの追記 以前、HDFSのfsimageとeditsの変更 | Tech Blogに書いたように、HDFSのeditsにはトランザクションが記録されます。 HDFSのappend(追記)機能を使って書き込んだ場合、edits...
hadoop

HDFSのfsimageとeditsの変更

HadoopのHDFSでは、NameNodeと呼ばれるノードがメタデータをディスク上に記録します。Hadoopのバージョンが上がりこれらのファイル名(と意味合い)が変更されていますが、象本3版(英語)にも反映されていません。 CDH3とCD...