CDH5 hdfs dfs で利用できるサブコマンド（１）
hdfs dfs コマンドで利用できるサブコマンドはHadoopのバージョンの向上とともに増えています。使ったことがないコマンドもあるので、実際にコマンドを実行して結果を見てみました。コマンドが多いので３回に分けて掲載します。注: 情報が古...
CDH5 
Cloudera Manager Sparkで取得したログを別のマシンのWeb UIで見る
＃以前qiitaに投稿した記事を一部更新して再投稿していますApache SparkのWebUIはアプリケーションの開発時のデバッグにとても役立ちます。しかし、本番運用に入ってしまうと、簡単にはWeb UIにアクセスできなかったり、問題が発...
hadoop 2016年の象(Hadoop)四方山話
2016年初日です。
cloudera Cloudera World Tokyo 2016
来月11/8にCloudera World Tokyo 2016 が開催されます。Cloudera World Tokyo 2016 (公式サイト）【Cloudera World Tokyo 2016】・日時：2016/11/8 終日
hadoop Hadoopの父、Doug Cutting氏のビデオ（日本語字幕付き）
ITmedia Virtual Expo のビデオ。Hadoopの父、Doug Cutting氏がHadoopやOSSについて語っています。字幕も付いているのでこれは必見じゃないかと。
hadoop （祝）Hadoop 3.0.0-alpha1リリース
本日、Hadoop 3.0.0-alpha1がリリースされました！今年はHadoop10周年です。過去のリリース履歴をいくつかピックアップしてみました。(赤字は対応しているCDHのバージョン） 0.1.0 - 2006/4/2 0.18...
hdfs HDFSスナップショットのメモ
HDFSのスナップショット。以前にHDFSスナップショットのブログを書きましたが、何点か自分用のメモを残しておきます。HDFSのスナップショットを取得して削除する現時点のディレクトリは下記の通り$ hdfs dfs -ls -R /user...
Kudu Apache Kudu がトップレベルプロジェクトに！
昨年秋に公開されたオープンソースソフトウェアの Kudu 、Incubator期間を経て正式にトップレベルプロジェクトになりました。Congrats, Kudu team!The Apache Software Foundation Ann...
CDH5 Cloudera Enterprise 5.8 リリース！
本日 Cloudera Enterprise 5.8 (CDH 5.8, Cloudera Manager 5.8)がリリースされました！リリースノートはこちら。今回のバージョンではCloudera Navigator Optimizerの...
Cloudera Manager StreamSetsでGUIからデータフローを作成
StreamSetsのData CollectorというOSSは、GUIからデータフロー（パイプライン）を定義して実行することができます。かなり簡単なのでオススメです。今回はQuickstart VM の環境にセットアップしてみました。詳細...