CDH5 hdfs dfs で利用できるサブコマンド（２）
hdfs dfs コマンドで利用できるサブコマンドの一覧、その２です。注: チートシートを作り直しました。こちらのページをご覧ください。 2020/6/19
hdfs
CDH5 
CDH5 hdfs dfs で利用できるサブコマンド（１）
hdfs dfs コマンドで利用できるサブコマンドはHadoopのバージョンの向上とともに増えています。使ったことがないコマンドもあるので、実際にコマンドを実行して結果を見てみました。コマンドが多いので３回に分けて掲載します。注: 情報が古...
hdfs HDFSスナップショットのメモ
HDFSのスナップショット。以前にHDFSスナップショットのブログを書きましたが、何点か自分用のメモを残しておきます。HDFSのスナップショットを取得して削除する現時点のディレクトリは下記の通り$ hdfs dfs -ls -R /user...
hdfs HDFSのイレイジャーコーディング (Erasure Coding)
2017/5/19追記: ClouderaのHDFS Erasure Codingのブログ翻訳しました -> Apache HadoopのHDFS Erasure Codingの紹介以前紹介したHDFSのイレイジャーコーディング「HDFSが...
hdfs HDFSのfsck
HDFSの不良ブロック先日、CDH5.4へのアップグレード中に仮想マシンが落ちた際、不良ブロックが大量に発生しました。Cloudera Managerのヘルステストによると、52の紛失したブロックがあると報告されています。
hdfs HDFSが変わる？HDFSのイレイジャーコーディング対応
Hadoopの分散ファイルシステムであるHDFSはビッグデータ用のストレージ用に広く利用され、ビッグデータにおけるファイルシステムのデファクトスタンダードになっていると言っても過言ではありません。最近では暗号化の対応やアクセス制御(ACL)...
hdfs HDFSのリカバリについてのブログ記事
先日HDFSのリカバリについてのブログ記事（英語）が公開されていたのですが、その翻訳版が公開されました。HDFSのリースリカバリ、ブロックリカバリ、およびパイプラインリカバリ動作詳解 (その1)これは象本にも記載されていないような話なので、...
hdfs bashでhadoopコマンドのタブ補完をする
Bash使いの皆さん。HDFSにアクセスの際、HDFS上のファイルをタブ補完したい！と思ったことはないでしょうか？ついついタブをクリックしてしまう、そんなbash遣い方には朗報かもしれません！？
Cloudera Manager Cloudera ManagerでHDFSのフェデレーション
過去に「高可用性でフェデレーションなHDFS」というブログを書きました。一般的なHDFSの構成一般的にHadoopのクラスタでは、ひとつのネームノード（あるいは高可用性にする）がクラスタ全てのデータノードを管理します。※Hadoopのドキュ...
hdfs HDFSのHotSwapが動かない
昨日から試行錯誤しているHDFSのホットスワップ。動かないんだけどなんでだろう？