hadoop-logo
ようこそ Tech blogへ!
「これからHadoopを勉強しよう」という方はまず下記のページから

サイトの移行に伴って画像が表示されないなどの不具合が生じています

cloudera

Cloudera World Tokyo 2016

来月11/8にCloudera World Tokyo 2016 が開催されます。 Cloudera World Tokyo 2016 (公式サイト) 【Cloudera World Tokyo 2016】 ・日時:2016/11/8 終日
hadoop

Hadoopの父、Doug Cutting氏のビデオ(日本語字幕付き)

ITmedia Virtual Expo のビデオ。Hadoopの父、Doug Cutting氏がHadoopやOSSについて語っています。字幕も付いているのでこれは必見じゃないかと。
hadoop

(祝)Hadoop 3.0.0-alpha1リリース

本日、Hadoop 3.0.0-alpha1がリリースされました! 今年はHadoop10周年です。過去のリリース履歴をいくつかピックアップしてみました。(赤字は対応しているCDHのバージョン) 0.1.0 - 2006/4/2 ...
hdfs

HDFSスナップショットのメモ

HDFSのスナップショット。以前にHDFSスナップショットのブログを書きましたが、何点か自分用のメモを残しておきます。 HDFSのスナップショットを取得して削除する 現時点のディレクトリは下記の通り $ hdfs dfs -ls -R /...
Kudu

Apache Kudu がトップレベルプロジェクトに!

昨年秋に公開されたオープンソースソフトウェアの Kudu 、Incubator期間を経て正式にトップレベルプロジェクトになりました。 Congrats, Kudu team! The Apache Software Foundation A...
CDH5

Cloudera Enterprise 5.8 リリース!

本日 Cloudera Enterprise 5.8 (CDH 5.8, Cloudera Manager 5.8)がリリースされました!リリースノートはこちら。 今回のバージョンではCloudera Navigator Optimizer...
Cloudera Manager

StreamSetsでGUIからデータフローを作成

StreamSetsのData CollectorというOSSは、GUIからデータフロー(パイプライン)を定義して実行することができます。かなり簡単なのでオススメです。 今回はQuickstart VM の環境にセットアップしてみました。...
Spark

Sparkジョブの履歴をSpark History Serverに取り込む

趣向を変えて今回は Qiita に投稿してみました。 Sparkジョブの履歴をSpark History Serverに取り込む
kafka

YARNとKafkaの短編動画

YARNのチューニングってわかりにくいですよね?このシリーズの動画は割と分かりやすいと思います。同様に、Kafkaって何?って人にはすごく分かりやすい動画。 Tuning YARN Applications Quotas: C...
CDH5

セキュアなHadoopクラスタ:Cloudera ManagerでのKerberos化

前回はCloudera Managerを使ってCloudera Quickstart VMを利用できるようにしました。今回はKerberosを使用してセキュアなクラスタ化を行います。 セキュア化の背景 Hadoopのメリットの一つはデータを...