CDH CDHとApache Sparkのバージョンの関係 以前「cdh-release-history」というCDHと主要コンポーネントの対応付けをまとめました。 今年はApache Spark 1.xと2.x が、CDH5.xとCDH6.xのバージョンにそれぞれどのように対応されているかに... 2018.12.20 CDHCDH5CDH6Spark
CDH5 Apache SparkでApache Kuduを利用する Apache Kudu 1.3 最近Apache Kuduのリードとライトの流れについてのブログが公開され、昨日は日本語でもウェビナーが開催されたりと盛り上がってきた「分散ストレージエンジン」のApache Kuduですが、SQLでのアクセ... 2017.04.28 CDH5impalaSpark
CDH5 Cloudera 5.11リリース Cloudera 5.11が出たので久しぶりの更新です。 Hadoopも11年目を迎え、日本でも幅広い業種で使われるようになりました。数年前と比較すると圧倒的に使いやすくなっているので、過去に評価してそのままになっている方、既存の基盤で困っ... 2017.04.19 CDH5
CDH5 Hadoop3.0の新機能!DataNodeディスク間バランサーを試す DataNodeディスク間バランサー 昨日紹介したHDFSの再バランスは、DataNode間でディスク使用量を平準化するための機能でした。一方で、DataNodeが複数のディスクを持っている場合、それぞれのディスクの使用量のバランスが崩れて... 2016.12.08 CDH5hdfs
CDH5 HDFSの再バランス HDFSには、DataNode間でディスク使用量の再バランスを行う balaner 機能があります。また、Hadoop3.xで導入される予定の、DataNode内のディスク間のリバランス機能(Disk Balancer)もあります。(この機... 2016.12.07 CDH5hdfs
CDH5 hdfs dfs で利用できるサブコマンド(3) hdfs dfs コマンドで利用できるサブコマンドの一覧、その3です。 注: チートシートを作り直しました。こちらのページをご覧ください。 2020/6/19 2016.12.05 CDH5hdfs
CDH5 hdfs dfs で利用できるサブコマンド(2) hdfs dfs コマンドで利用できるサブコマンドの一覧、その2です。 注: チートシートを作り直しました。こちらのページをご覧ください。 2020/6/19 2016.12.04 CDH5hdfs
CDH5 hdfs dfs で利用できるサブコマンド(1) hdfs dfs コマンドで利用できるサブコマンドはHadoopのバージョンの向上とともに増えています。使ったことがないコマンドもあるので、実際にコマンドを実行して結果を見てみました。コマンドが多いので3回に分けて掲載します。 注: 情報... 2016.12.03 CDH5hdfs
CDH5 Cloudera Enterprise 5.8 リリース! 本日 Cloudera Enterprise 5.8 (CDH 5.8, Cloudera Manager 5.8)がリリースされました!リリースノートはこちら。 今回のバージョンではCloudera Navigator Optimizer... 2016.07.22 CDH5
CDH5 セキュアなHadoopクラスタ:Cloudera ManagerでのKerberos化 前回はCloudera Managerを使ってCloudera Quickstart VMを利用できるようにしました。今回はKerberosを使用してセキュアなクラスタ化を行います。 セキュア化の背景 Hadoopのメリットの一つはデータを... 2016.05.10 CDH5Cloudera Managersecurity