hdfs HDFSでアクセス制御リスト（ACL）を設定する
６日目です。昨日のブログでHDFSの拡張属性を紹介しましたが、当初の予定はACLがメインででした。ところがCloudera Quickstart VM 5.2の思わぬ罠にハマってしまい、トラブルシュートに延々と時間を費やしたあげくに、結局は...
hdfs
hdfs hdfs HDFSの拡張属性 xattr
５日目です最近（と言っても少し前ですが）、HDFSにもLinuxでおなじみの拡張属性(xattr)が追加されました。今回はこの機能がどういうものかを見てみましょう。
CDH5 高可用性でフェデレーションなHDFS
HDFS-HA with federation高可用性HDFS(High Availability HDFS)の情報はたくさん公開されていますが、フェデレーションと組み合わせた設定についての情報は非常に少ないようです。手元の環境で構築したの...
CDH5 HDFSの新しい機能を確認 (4) – NFSゲートウェイ
以前も書いた通り、最近のHDFSではNFS Gatewayを利用することが可能になっています。CDH5 ベータ1 のNFSv3ゲートウェイを試してみましたこれにより、HDFSプロトコルを知らないレガシーアプリケーション、非Javaな環境、そ...
CDH5 HDFSの新しい機能を確認 (3) – HDFSスナップショット
現在、Hadoop 2.x系では HDFSのスナップショット機能が含まれています 。CDH5からこの機能がサポートされました。
CDH5 HDFSの新しい機能を確認（２） CDH5.0 GAとヘテロジニアス構成
昨日、2014/4/2、CDH 5とCloudera Manager 5がリリースされました。手元の環境をアップデートしたので、いくつかの新しい機能の確認を続けます。なお前回同様に、CDH5 beta2からのアップデートの際にはHDFSのメ...
CDH HDFSの新しい機能を確認する（１）（CDH5.0 beta2）
CDH5 beta2のHDFSCDH5 beta2が公開されてからしばらく経ちました。GAまでは（おそらく）もう少しです。手元の検証環境をアップデートしていなかったので、CDH5 beta1->beta2にアップデートして、いくつか変更点を...
hdfs HDFS上のファイルに追記する
１８日目ですHDFSは当初Write Onceなファイルシステムでした。これは設計思想によるものです。Apache HDFSのドキュメントから引用します。HDFS applications need a write-once-read-ma...
hdfs HDFSのパフォーマンス改善（アドバイザリーキャッシュの設定）
１０日目です以前もHDFSのパフォーマンス改善についてのブログ（キャッシングの導入とmmapを使ったゼロコピー）を書きましたが、本日たまたま見つけた（かつ、最新版には取り込まれていた）、ファイルベースでHDFSアドバイザリーキャッシュを設定...
hdfs HDFSのヘテロジニアス（非均一）ストレージ構成
９日目です（土日に書くのは休むことにしました）ご存知の通り、HDFSはマスターとスレーブ群から構成されます。スレーブノードを大量に用意することで、膨大なデータを蓄積することができます。現状のHDFSでは、個々のデータノードが持っているストレ...