CDH

CDH5

Hadoop3.0の新機能!DataNodeディスク間バランサーを試す

DataNodeディスク間バランサー 昨日紹介したHDFSの再バランスは、DataNode間でディスク使用量を平準化するための機能でした。一方で、DataNodeが複数のディスクを持っている場合、それぞれのディスクの使用量のバランスが崩れて...
CDH5

HDFSの再バランス

HDFSには、DataNode間でディスク使用量の再バランスを行う balaner 機能があります。また、Hadoop3.xで導入される予定の、DataNode内のディスク間のリバランス機能(Disk Balancer)もあります。(この機...
CDH5

hdfs dfs で利用できるサブコマンド(3)

hdfs dfs コマンドで利用できるサブコマンドの一覧、その3です。 表のレイアウトがおかしいので近いうちに直します。
CDH5

hdfs dfs で利用できるサブコマンド(2)

hdfs dfs コマンドで利用できるサブコマンドの一覧、その2です。
CDH5

hdfs dfs で利用できるサブコマンド(1)

hdfs dfs コマンドで利用できるサブコマンドはHadoopのバージョンの向上とともに増えています。使ったことがないコマンドもあるので、実際にコマンドを実行して結果を見てみました。 コマンドが多いので3回に分けて掲載します。
CDH5

Cloudera Enterprise 5.8 リリース!

本日 Cloudera Enterprise 5.8 (CDH 5.8, Cloudera Manager 5.8)がリリースされました!リリースノートはこちら。 今回のバージョンではCloudera Navigator Optimizer...
CDH5

セキュアなHadoopクラスタ:Cloudera ManagerでのKerberos化

前回はCloudera Managerを使ってCloudera Quickstart VMを利用できるようにしました。今回はKerberosを使用してセキュアなクラスタ化を行います。 セキュア化の背景 Hadoopのメリットの一つはデータを...
CDH5

Cloudera Quickstart VM 5.7 を使って見る

前回アップグレードが完了したCloudera Quickstart VM。ふと見ると本家に5.7が.. orz... 前回アップグレードした版、あるいはこのver 5.7のVMのどちらを使っても同じ結果になるはずですが、せっかくなので5....
CDH

Cloudera Quickstart VMを5.7にアップデート(3)

前回はCloudera Managerを5.7にアップグレードしました。 今回は各コンポーネントのバージョンアップを行います。
CDH5

(備忘録)Hadoop、CDH、Cloudera Manager、Sparkの便利リンク

最近見つけた便利なリンク Cloudera (CDH, Impala, Cloudera Manager, DistCpなど)で使うポート (←便利!) Hadoop Users in Cloudera Manager...