hdfs

hdfs

HDFSスナップショットのメモ

HDFSのスナップショット。以前にHDFSスナップショットのブログを書きましたが、何点か自分用のメモを残しておきます。 HDFSのスナップショットを取得して削除する 現時点のディレクトリは下記の通り $ hdfs dfs -ls -R /...
hdfs

HDFSのイレイジャーコーディング (Erasure Coding)

2017/5/19追記: ClouderaのHDFS Erasure Codingのブログ翻訳しました -> Apache HadoopのHDFS Erasure Codingの紹介 以前紹介したHDFSのイレイジャーコーディング「...
hdfs

HDFSのfsck

HDFSの不良ブロック 先日、CDH5.4へのアップグレード中に仮想マシンが落ちた際、不良ブロックが大量に発生しました。 Cloudera Managerのヘルステストによると、52の紛失したブロックがあると報告されています。
hdfs

HDFSが変わる?HDFSのイレイジャーコーディング対応

Hadoopの分散ファイルシステムであるHDFSはビッグデータ用のストレージ用に広く利用され、ビッグデータにおけるファイルシステムのデファクトスタンダードになっていると言っても過言ではありません。最近では暗号化の対応やアクセス制御(ACL)...
hdfs

HDFSのリカバリについてのブログ記事

先日HDFSのリカバリについてのブログ記事(英語)が公開されていたのですが、その翻訳版が公開されました。 HDFSのリースリカバリ、ブロックリカバリ、およびパイプラインリカバリ動作詳解 (その1) これは象本にも記載されていないような話...
hdfs

bashでhadoopコマンドのタブ補完をする

Bash使いの皆さん。HDFSにアクセスの際、HDFS上のファイルをタブ補完したい!と思ったことはないでしょうか?ついついタブをクリックしてしまう、そんなbash遣い方には朗報かもしれません!?
Cloudera Manager

Cloudera ManagerでHDFSのフェデレーション

過去に「高可用性でフェデレーションなHDFS」というブログを書きました。 一般的なHDFSの構成 一般的にHadoopのクラスタでは、ひとつのネームノード(あるいは高可用性にする)がクラスタ全てのデータノードを管理します。 ※Hadoopの...
hdfs

HDFSのHotSwapが動かない

昨日から試行錯誤しているHDFSのホットスワップ。動かないんだけどなんでだろう?
hdfs

HDFSでアクセス制御リスト(ACL)を設定する

6日目です。 昨日のブログでHDFSの拡張属性を紹介しましたが、当初の予定はACLがメインででした。ところがCloudera Quickstart VM 5.2の思わぬ罠にハマってしまい、トラブルシュートに延々と時間を費やしたあげくに、結局...
hdfs

HDFSの拡張属性 xattr

5日目です 最近(と言っても少し前ですが)、HDFSにもLinuxでおなじみの拡張属性(xattr)が追加されました。今回はこの機能がどういうものかを見てみましょう。