hadoop-logo
ようこそ Tech blogへ!
「これからHadoopを勉強しよう」という方はまず下記のページから

サイトの移行に伴って画像が表示されないなどの不具合が生じています

kernel023

その他

サイトを移転しました

契約していたプロバイダーのサービス停止に伴い、サイトを移転しました。 移行前に使っていたWordPressやPHPのバージョンが古く、移行はかなり難航しましたが、ようやく見られる程度になったので公開します。 なお、移転に伴ってテ...
YARN

YARNのリソース管理の秀逸なスライド

Hadoopのコンポーネントの一つであるYARNは、HadoopやSpark等の分散処理のリソース管理とスケジューリングを行います。そのスケジューラはプラガブルになっており、次の3種類のポリシーが選択でき、それぞれ詳細に設定できます。 ...
入門

Hadoop/Spark/Kafka 等の書籍情報更新!

久しく更新していなかった書籍情報をアップデートしました。 Hadoop, Spark ビッグデータ関連書籍 今回は、Apache Kuduを含め、Spark、Kafkaの書籍情報を追加しました。オライリーさんからはKafkaの日本語版も...
hadoop

ビッグデータ関連書籍もう一冊

アーリーリリース版を読んでみましたが、Hadoop Operations のエンタープライズ版のような趣があります。HadoopオペレーションほどHadoop寄りではないですが、最近の本なので構成を考える方にはお勧め。 Architect...
Kudu

O’Reilly から Apache Kudu の書籍が出版されます

ついにKudu本が登場! とはいえ、技術的にディープな本ではないので、deep diveな本が欲しい同僚には物足りないようです。Kudu Internal の公開に期待! なお、著者の一人のBrockは以前の同僚で、すごく優秀なエンジニ...
HBase

HBase 2.0 のシェルコマンド

メモ:HBase 2.0 の HBase シェルのヘルプ。以前のバージョンと比べて使えるコマンドが増えている。 hbase(main):001:0> help HBase Shell, version 2.0.0-cdh6.x...
CDH6

Cloudera Enterprise 6 beta で Erasure Coding を試してみる

Hadoop 3.0 で導入された HDFS  Erasure Coding を Cloudera Enterprise 6.0 beta の環境で試してみました。 HDFSのErasure Coding は、HDFSのブロックの複製とは...
CDH6

Cloudera Enterprise 6 (beta) インストール

Cloudera Enteprise 6 beta 先月検証したまま放置していましたが、Cloudera Enteprise 6 public beta をインストールしたのでメモ書きです。 Cloudera Enterprise 6 のペ...
CDH6

YARNでGPU

メモ YARNのGPU対応についてのドキュメント Using GPU On YARN
CDH6

Cloudera Enterprise 6 Beta リリース!

Hadoop 3系がリリースされ、CDH5のリリースから4年が経過した今、Cloudera Enterprise 6のβ版が公開されたようです。「CDH6」という名称の方がわかりやすいかもしれませんね。 Cloudera Etnerpris...