hdfs HDFSが変わる？HDFSのイレイジャーコーディング対応
Hadoopの分散ファイルシステムであるHDFSはビッグデータ用のストレージ用に広く利用され、ビッグデータにおけるファイルシステムのデファクトスタンダードになっていると言っても過言ではありません。最近では暗号化の対応やアクセス制御(ACL)...
HDFS
hdfs CDH5 高可用性でフェデレーションなHDFS
HDFS-HA with federation高可用性HDFS(High Availability HDFS)の情報はたくさん公開されていますが、フェデレーションと組み合わせた設定についての情報は非常に少ないようです。手元の環境で構築したの...
CDH5 HDFSの新しい機能を確認（２） CDH5.0 GAとヘテロジニアス構成
昨日、2014/4/2、CDH 5とCloudera Manager 5がリリースされました。手元の環境をアップデートしたので、いくつかの新しい機能の確認を続けます。なお前回同様に、CDH5 beta2からのアップデートの際にはHDFSのメ...
CDH HDFSの新しい機能を確認する（１）（CDH5.0 beta2）
CDH5 beta2のHDFSCDH5 beta2が公開されてからしばらく経ちました。GAまでは（おそらく）もう少しです。手元の検証環境をアップデートしていなかったので、CDH5 beta1->beta2にアップデートして、いくつか変更点を...
hdfs HDFS上のファイルに追記する
１８日目ですHDFSは当初Write Onceなファイルシステムでした。これは設計思想によるものです。Apache HDFSのドキュメントから引用します。HDFS applications need a write-once-read-ma...
hdfs HDFSのパフォーマンス改善（アドバイザリーキャッシュの設定）
１０日目です以前もHDFSのパフォーマンス改善についてのブログ（キャッシングの導入とmmapを使ったゼロコピー）を書きましたが、本日たまたま見つけた（かつ、最新版には取り込まれていた）、ファイルベースでHDFSアドバイザリーキャッシュを設定...
hdfs HDFSのヘテロジニアス（非均一）ストレージ構成
９日目です（土日に書くのは休むことにしました）ご存知の通り、HDFSはマスターとスレーブ群から構成されます。スレーブノードを大量に用意することで、膨大なデータを蓄積することができます。現状のHDFSでは、個々のデータノードが持っているストレ...
CDH5 CDH5 ベータ1 のNFSv3ゲートウェイを試してみました
HDFSのNFSv3 Gateway機能を試してみる以前の記事にも書きましたが、Hadoop 2.2.0の新機能の一つに「NFSv3に対応」という点があります。「CDH5 beta1を速攻で試す！」でCDH5b1のパッケージをみたように、N...
hadoop HDFSのヘテロジニアス対応
HDFSとヘテロジニアスな構成一般的に、Hadoopは同一構成のサーバを大量に並べる方が、運用が簡単です。非均一な構成は、特に設定ファイルの管理、チューニングが厄介です。そんな中、HDFS-2832で「Enable support for ...
hadoop QJMによる高可用性HDFSのWebUIスクリーンショット
@daisukebe_氏が執筆しているHadoopオペレーションズの付録の手伝いで、QJMを使用した高可用性HDFS (HDFS-HA)の環境を構築しました。ネームノードのWebUIのスクリーンショットを取ったので、自分用に貼っておきます。