CDH5 Hadoop3.0の新機能！DataNodeディスク間バランサーを試す
DataNodeディスク間バランサー
昨日紹介したHDFSの再バランスは、DataNode間でディスク使用量を平準化するための機能でした。一方で、DataNodeが複数のディスクを持っている場合、それぞれのディスクの使用量のバランスが崩れて...
CDH5 CDH5 HDFSの再バランス
HDFSには、DataNode間でディスク使用量の再バランスを行う balaner 機能があります。また、Hadoop3.xで導入される予定の、DataNode内のディスク間のリバランス機能（Disk Balancer）もあります。（この機...
HBase HBase 1.2で導入されたSimpleRegionNormalizerを試してみる
RegionNormalizer
「Distributed computing (Apache Hadoop, Spark, ...) Advent Calendar 2016」 の@d1ce_氏による「HBase 1.2で導入されたSim...
CDH5 hdfs dfs で利用できるサブコマンド（３）
hdfs dfs コマンドで利用できるサブコマンドの一覧、その３です。
注: チートシートを作り直しました。こちらのページをご覧ください。 2020/6/19
CDH5 hdfs dfs で利用できるサブコマンド（２）
hdfs dfs コマンドで利用できるサブコマンドの一覧、その２です。
注: チートシートを作り直しました。こちらのページをご覧ください。 2020/6/19
CDH5 hdfs dfs で利用できるサブコマンド（１）
hdfs dfs コマンドで利用できるサブコマンドはHadoopのバージョンの向上とともに増えています。使ったことがないコマンドもあるので、実際にコマンドを実行して結果を見てみました。コマンドが多いので３回に分けて掲載します。
注: 情報...
Cloudera Manager Sparkで取得したログを別のマシンのWeb UIで見る
＃以前qiitaに投稿した記事を一部更新して再投稿しています
Apache SparkのWebUIはアプリケーションの開発時のデバッグにとても役立ちます。
しかし、本番運用に入ってしまうと、簡単にはWeb UIにアクセスできなかったり、問...
hadoop 2016年の象(Hadoop)四方山話
2016年初日です。
cloudera Cloudera World Tokyo 2016
来月11/8にCloudera World Tokyo 2016 が開催されます。
Cloudera World Tokyo 2016 (公式サイト）
【Cloudera World Tokyo 2016】
・日時：2016/11/8 終日
hadoop Hadoopの父、Doug Cutting氏のビデオ（日本語字幕付き）
ITmedia Virtual Expo のビデオ。Hadoopの父、Doug Cutting氏がHadoopやOSSについて語っています。字幕も付いているのでこれは必見じゃないかと。