hadoop-logo
ようこそ Tech blogへ!
「これからHadoopを勉強しよう」という方はまず下記のページから

サイトの移行に伴って画像が表示されないなどの不具合が生じています

hdfs

CDH6

Cloudera Enterprise 6 beta で Erasure Coding を試してみる

Hadoop 3.0 で導入された HDFS  Erasure Coding を Cloudera Enterprise 6.0 beta の環境で試してみました。 HDFSのErasure Coding は、HDFSのブロックの複製とは異...
hadoop

HDFSの新しい機能3つ

HDFSは分散ファイルシステムとして確固たる地位を築きましたが、NFSのサポートやスナップショットなど、多くの機能が追加されています。 その中で、今後 Hadoop 3 で重要となる「HDFSのイレイジャーコーディング」を含めたCloude...
CDH5

Hadoop3.0の新機能!DataNodeディスク間バランサーを試す

DataNodeディスク間バランサー 昨日紹介したHDFSの再バランスは、DataNode間でディスク使用量を平準化するための機能でした。一方で、DataNodeが複数のディスクを持っている場合、それぞれのディスクの使用量のバランスが崩れて...
CDH5

HDFSの再バランス

HDFSには、DataNode間でディスク使用量の再バランスを行う balaner 機能があります。また、Hadoop3.xで導入される予定の、DataNode内のディスク間のリバランス機能(Disk Balancer)もあります。(この機...
CDH5

hdfs dfs で利用できるサブコマンド(3)

hdfs dfs コマンドで利用できるサブコマンドの一覧、その3です。 表のレイアウトがおかしいので近いうちに直します。
CDH5

hdfs dfs で利用できるサブコマンド(2)

hdfs dfs コマンドで利用できるサブコマンドの一覧、その2です。
CDH5

hdfs dfs で利用できるサブコマンド(1)

hdfs dfs コマンドで利用できるサブコマンドはHadoopのバージョンの向上とともに増えています。使ったことがないコマンドもあるので、実際にコマンドを実行して結果を見てみました。 コマンドが多いので3回に分けて掲載します。
hdfs

HDFSスナップショットのメモ

HDFSのスナップショット。以前にHDFSスナップショットのブログを書きましたが、何点か自分用のメモを残しておきます。 HDFSのスナップショットを取得して削除する 現時点のディレクトリは下記の通り $ hdfs dfs -ls -R /...
hdfs

HDFSのイレイジャーコーディング (Erasure Coding)

2017/5/19追記: ClouderaのHDFS Erasure Codingのブログ翻訳しました -> Apache HadoopのHDFS Erasure Codingの紹介 以前紹介したHDFSのイレイジャーコーディング「...
hdfs

HDFSのfsck

HDFSの不良ブロック 先日、CDH5.4へのアップグレード中に仮想マシンが落ちた際、不良ブロックが大量に発生しました。 Cloudera Managerのヘルステストによると、52の紛失したブロックがあると報告されています。