hdfs HDFS dfs サブコマンドのチートシート
以前に公開し、一番アクセスされている hdfs dfs のサブコマンドページの情報が古かったので、Hadoop３系で検証して全面的に書き直しました。
HDFS FSshell (hdfs dfs) コマンドのチートシートのPDFファイ...
hdfs
hdfs hdfs HDFS高可用性記事抄訳
HDFS HA 記事の抄訳諸般の事情で下記コンテンツを訳したので貼っておきます。実装Cloudera ManagerとCDHは、HAの実装にクォーラムベースのストレージをサポートしています。クォーラムベースのストレージとは、QJM(Quor...
hdfs HDFSのスモールファイルの問題のブログ翻訳
HDFSに小さなファイルを溜めるといくつかの問題が生じます。例えば、NameNodeのメモリを大量に消費したり、あるいは分散処理の際のパフォーマンスが劣化します。この問題の原因、予防、対処法が書かれていたブログ記事の内容がかなり良かったので...
hdfs HDFS イレイジャーコーディングの性能について
Hadoop 3.x でサポートされたHDFS Erasure Coding (HDFS-EC)ですが、HDFSに利用するストレージの容量を節約することができるため、大量データを持っている方には魅力的です。一方、原則的に複数ラックが必要とか...
hdfs HDFSのワーカーのタイムアウト時間 10分30秒
備忘録がてら貼っておく。
NameNodeとDataNodeのタイムアウト時間
HDFSでは、DataNodeが定期的にNameNodeにハートビート通信を行なっています。DataNodeからのハートビートが一定時間途絶えると、NameNo...
CDH6 Cloudera Enterprise 6 beta で Erasure Coding を試してみる
Hadoop 3.0 で導入された HDFS Erasure Coding を Cloudera Enterprise 6.0 beta の環境で試してみました。
HDFSのErasure Coding は、HDFSのブロックの複製とは異...
hadoop HDFSの新しい機能３つ
HDFSは分散ファイルシステムとして確固たる地位を築きましたが、NFSのサポートやスナップショットなど、多くの機能が追加されています。その中で、今後 Hadoop 3 で重要となる「HDFSのイレイジャーコーディング」を含めたClouder...
CDH5 Hadoop3.0の新機能！DataNodeディスク間バランサーを試す
DataNodeディスク間バランサー昨日紹介したHDFSの再バランスは、DataNode間でディスク使用量を平準化するための機能でした。一方で、DataNodeが複数のディスクを持っている場合、それぞれのディスクの使用量のバランスが崩れてし...
CDH5 HDFSの再バランス
HDFSには、DataNode間でディスク使用量の再バランスを行う balaner 機能があります。また、Hadoop3.xで導入される予定の、DataNode内のディスク間のリバランス機能（Disk Balancer）もあります。（この機...
CDH5 hdfs dfs で利用できるサブコマンド（３）
hdfs dfs コマンドで利用できるサブコマンドの一覧、その３です。注: チートシートを作り直しました。こちらのページをご覧ください。 2020/6/19