HDFS

hdfs

HDFSが変わる?HDFSのイレイジャーコーディング対応

Hadoopの分散ファイルシステムであるHDFSはビッグデータ用のストレージ用に広く利用され、ビッグデータにおけるファイルシステムのデファクトスタンダードになっていると言っても過言ではありません。最近では暗号化の対応やアクセス制御(ACL)...
CDH5

高可用性でフェデレーションなHDFS

HDFS-HA with federation 高可用性HDFS(High Availability HDFS)の情報はたくさん公開されていますが、フェデレーションと組み合わせた設定についての情報は非常に少ないようです。 手元の環境で構築し...
CDH5

HDFSの新しい機能を確認(2) CDH5.0 GAとヘテロジニアス構成

昨日、2014/4/2、CDH 5とCloudera Manager 5がリリースされました。手元の環境をアップデートしたので、いくつかの新しい機能の確認を続けます。 なお前回同様に、CDH5 beta2からのアップデートの際にはHDFSの...
CDH

HDFSの新しい機能を確認する(1)(CDH5.0 beta2)

CDH5 beta2のHDFS CDH5 beta2が公開されてからしばらく経ちました。GAまでは(おそらく)もう少しです。手元の検証環境をアップデートしていなかったので、CDH5 beta1->beta2にアップデートして、いくつか...
hdfs

HDFS上のファイルに追記する

18日目です HDFSは当初Write Onceなファイルシステムでした。これは設計思想によるものです。Apache HDFSのドキュメントから引用します。 HDFS applications need a write-once-read-...
hdfs

HDFSのパフォーマンス改善(アドバイザリーキャッシュの設定)

10日目です 以前もHDFSのパフォーマンス改善についてのブログ(キャッシングの導入とmmapを使ったゼロコピー)を書きましたが、本日たまたま見つけた(かつ、最新版には取り込まれていた)、ファイルベースでHDFSアドバイザリーキャッシュを設...
hdfs

HDFSのヘテロジニアス(非均一)ストレージ構成

9日目です(土日に書くのは休むことにしました) ご存知の通り、HDFSはマスターとスレーブ群から構成されます。スレーブノードを大量に用意することで、膨大なデータを蓄積することができます。 現状のHDFSでは、個々のデータノードが持っているス...
CDH5

CDH5 ベータ1 のNFSv3ゲートウェイを試してみました

HDFSのNFSv3 Gateway機能を試してみる 以前の記事にも書きましたが、Hadoop 2.2.0の新機能の一つに「NFSv3に対応」という点があります。「CDH5 beta1を速攻で試す!」でCDH5b1のパッケージをみたように、...
hadoop

HDFSのヘテロジニアス対応

HDFSとヘテロジニアスな構成 一般的に、Hadoopは同一構成のサーバを大量に並べる方が、運用が簡単です。非均一な構成は、特に設定ファイルの管理、チューニングが厄介です。 そんな中、HDFS-2832で「Enable support fo...
hadoop

QJMによる高可用性HDFSのWebUIスクリーンショット

@daisukebe_氏が執筆しているHadoopオペレーションズの付録の手伝いで、QJMを使用した高可用性HDFS (HDFS-HA)の環境を構築しました。ネームノードのWebUIのスクリーンショットを取ったので、自分用に貼っておきます。