CDH5 Hadoop3.0の新機能!DataNodeディスク間バランサーを試す DataNodeディスク間バランサー 昨日紹介したHDFSの再バランスは、DataNode間でディスク使用量を平準化するための機能でした。一方で、DataNodeが複数のディスクを持っている場合、それぞれのディスクの使用量のバランスが崩れて... 2016.12.08 CDH5hdfs
CDH5 HDFSの再バランス HDFSには、DataNode間でディスク使用量の再バランスを行う balaner 機能があります。また、Hadoop3.xで導入される予定の、DataNode内のディスク間のリバランス機能(Disk Balancer)もあります。(この機... 2016.12.07 CDH5hdfs
HBase HBase 1.2で導入されたSimpleRegionNormalizerを試してみる RegionNormalizer 「Distributed computing (Apache Hadoop, Spark, ...) Advent Calendar 2016」 の@d1ce_氏による「HBase 1.2で導入されたSim... 2016.12.06 HBase
CDH5 hdfs dfs で利用できるサブコマンド(3) hdfs dfs コマンドで利用できるサブコマンドの一覧、その3です。 注: チートシートを作り直しました。こちらのページをご覧ください。 2020/6/19 2016.12.05 CDH5hdfs
CDH5 hdfs dfs で利用できるサブコマンド(2) hdfs dfs コマンドで利用できるサブコマンドの一覧、その2です。 注: チートシートを作り直しました。こちらのページをご覧ください。 2020/6/19 2016.12.04 CDH5hdfs
CDH5 hdfs dfs で利用できるサブコマンド(1) hdfs dfs コマンドで利用できるサブコマンドはHadoopのバージョンの向上とともに増えています。使ったことがないコマンドもあるので、実際にコマンドを実行して結果を見てみました。コマンドが多いので3回に分けて掲載します。 注: 情報... 2016.12.03 CDH5hdfs
Cloudera Manager Sparkで取得したログを別のマシンのWeb UIで見る #以前qiitaに投稿した記事を一部更新して再投稿しています Apache SparkのWebUIはアプリケーションの開発時のデバッグにとても役立ちます。 しかし、本番運用に入ってしまうと、簡単にはWeb UIにアクセスできなかったり、問... 2016.12.02 Cloudera ManagerSpark
cloudera Cloudera World Tokyo 2016 来月11/8にCloudera World Tokyo 2016 が開催されます。 Cloudera World Tokyo 2016 (公式サイト) 【Cloudera World Tokyo 2016】 ・日時:2016/11/8 終日 2016.10.24 cloudera
hadoop Hadoopの父、Doug Cutting氏のビデオ(日本語字幕付き) ITmedia Virtual Expo のビデオ。Hadoopの父、Doug Cutting氏がHadoopやOSSについて語っています。字幕も付いているのでこれは必見じゃないかと。 2016.09.08 hadoop