HadoopAdvent2014

hdfs

HDFSの拡張属性 xattr

5日目です最近(と言っても少し前ですが)、HDFSにもLinuxでおなじみの拡張属性(xattr)が追加されました。今回はこの機能がどういうものかを見てみましょう。
hadoop

Hadoop関連本リリース予定 (2014/12版)

4日目です。2015/1/1: 最新情報を別ページにまとめましたO'Reillyのサイバーセールで洋書を買いまくった皆様、いかがお過ごしでしょうか?前回のブログからだいぶ時間が過ぎてしまったので、今後出版される予定のHadoop関連本のまと...
HBase

HBase 0.98でのファイル配置(HDFS)

3日目です。HBaseのバイブルとなっている、オライリーから出版されている書籍、HBase。(通称馬本)。個人的には象本よりも愛用している(せざるを得ない)素晴らしい本ですが、出版されてから2年が過ぎ、現在のバージョンとは違っているところも...
Spark

Apache Sparkとデータの永続化

2日目ですApache Sparkは「インメモリで処理できる分散処理基盤」ですが、状況によってはディスクへのアクセスがあります。 明示的にディスクに永続化した場合 (persist()) チェックポイントを取った場合(checkpoint(...
hadoop

2014年の象(Hadoop)四方山話

Spark, SQL on Hadoop etc. Advent Calendar 2014 1日目、およびHadoop関連(全部俺) Advent Calendar 2014の1日目です。初日なので、昨年ブログに続いて2014年のHado...