CDH CDHとApache Sparkのバージョンの関係
以前「cdh-release-history」というCDHと主要コンポーネントの対応付けをまとめました。
今年はApache Spark 1.xと2.x が、CDH5.xとCDH6.xのバージョンにそれぞれどのように対応されているかに...
CDH 
CDH6 Cloudera Enterprise 6.1 がリリースされました
Cloudera Enterprise 6.1.0 リリース
本日（昨日）Cloudera Enterprise 6.1.0 がリリースされました。このリリースはかなり大きなアップデートが含まれており、6.0リリース時に見送られた重要な内...
その他 サイトを移転しました
契約していたプロバイダーのサービス停止に伴い、サイトを移転しました。
移行前に使っていたWordPressやPHPのバージョンが古く、移行はかなり難航しましたが、ようやく見られる程度になったので公開します。
なお、移転に伴ってテ...
YARN YARNのリソース管理の秀逸なスライド
Hadoopのコンポーネントの一つであるYARNは、HadoopやSpark等の分散処理のリソース管理とスケジューリングを行います。そのスケジューラはプラガブルになっており、次の３種類のポリシーが選択でき、それぞれ詳細に設定できます。
...
入門 Hadoop/Spark/Kafka 等の書籍情報更新！
久しく更新していなかった書籍情報をアップデートしました。
Hadoop, Spark ビッグデータ関連書籍
今回は、Apache Kuduを含め、Spark、Kafkaの書籍情報を追加しました。オライリーさんからはKafkaの日本語版も...
hadoop ビッグデータ関連書籍もう一冊
アーリーリリース版を読んでみましたが、Hadoop Operations のエンタープライズ版のような趣があります。HadoopオペレーションほどHadoop寄りではないですが、最近の本なので構成を考える方にはお勧め。
Architect...
Kudu O’Reilly から Apache Kudu の書籍が出版されます
ついにKudu本が登場！
とはいえ、技術的にディープな本ではないので、deep diveな本が欲しい同僚には物足りないようです。Kudu Internal の公開に期待！
なお、著者の一人のBrockは以前の同僚で、すごく優秀なエンジニ...
HBase HBase 2.0 のシェルコマンド
メモ：HBase 2.0 の HBase シェルのヘルプ。以前のバージョンと比べて使えるコマンドが増えている。
hbase(main):001:0> help
HBase Shell, version 2.0.0-cdh6.x...
CDH6 Cloudera Enterprise 6 beta で Erasure Coding を試してみる
Hadoop 3.0 で導入された HDFS Erasure Coding を Cloudera Enterprise 6.0 beta の環境で試してみました。
HDFSのErasure Coding は、HDFSのブロックの複製とは...
CDH6 Cloudera Enterprise 6 (beta) インストール
Cloudera Enteprise 6 beta
先月検証したまま放置していましたが、Cloudera Enteprise 6 public beta をインストールしたのでメモ書きです。
Cloudera Enterprise 6 のペ...