hadoop-logo
ようこそ Tech blogへ!
「これからHadoopを勉強しよう」という方はまず下記のページから

サイトの移行に伴って画像が表示されないなどの不具合が生じています

CDH5

hdfs dfs で利用できるサブコマンド(1)

hdfs dfs コマンドで利用できるサブコマンドはHadoopのバージョンの向上とともに増えています。使ったことがないコマンドもあるので、実際にコマンドを実行して結果を見てみました。 コマンドが多いので3回に分けて掲載します。
Cloudera Manager

Sparkで取得したログを別のマシンのWeb UIで見る

#以前qiitaに投稿した記事を一部更新して再投稿しています Apache SparkのWebUIはアプリケーションの開発時のデバッグにとても役立ちます。 しかし、本番運用に入ってしまうと、簡単にはWeb UIにアクセスできなかったり、問...
hadoop

2016年の象(Hadoop)四方山話

2016年初日です。
cloudera

Cloudera World Tokyo 2016

来月11/8にCloudera World Tokyo 2016 が開催されます。 Cloudera World Tokyo 2016 (公式サイト) 【Cloudera World Tokyo 2016】 ・日時:2016/11/8 終日
hadoop

Hadoopの父、Doug Cutting氏のビデオ(日本語字幕付き)

ITmedia Virtual Expo のビデオ。Hadoopの父、Doug Cutting氏がHadoopやOSSについて語っています。字幕も付いているのでこれは必見じゃないかと。
hadoop

(祝)Hadoop 3.0.0-alpha1リリース

本日、Hadoop 3.0.0-alpha1がリリースされました! 今年はHadoop10周年です。過去のリリース履歴をいくつかピックアップしてみました。(赤字は対応しているCDHのバージョン) 0.1.0 - 2006/4/2 ...
hdfs

HDFSスナップショットのメモ

HDFSのスナップショット。以前にHDFSスナップショットのブログを書きましたが、何点か自分用のメモを残しておきます。 HDFSのスナップショットを取得して削除する 現時点のディレクトリは下記の通り $ hdfs dfs -ls -R /...
Kudu

Apache Kudu がトップレベルプロジェクトに!

昨年秋に公開されたオープンソースソフトウェアの Kudu 、Incubator期間を経て正式にトップレベルプロジェクトになりました。 Congrats, Kudu team! The Apache Software Foundation A...
CDH5

Cloudera Enterprise 5.8 リリース!

本日 Cloudera Enterprise 5.8 (CDH 5.8, Cloudera Manager 5.8)がリリースされました!リリースノートはこちら。 今回のバージョンではCloudera Navigator Optimizer...
Cloudera Manager

StreamSetsでGUIからデータフローを作成

StreamSetsのData CollectorというOSSは、GUIからデータフロー(パイプライン)を定義して実行することができます。かなり簡単なのでオススメです。 今回はQuickstart VM の環境にセットアップしてみました。...