kernel023

Cloudera Manager

2014年版 Hadoopを10分で試す(1)

Hadoop関連(全部俺) Advent Calendar 2014:7日目先週の研修中に、「Hadoopをこれから試してみたいけど、どこから始めたらいいでしょうか?」という質問がありました。構築の勉強をしたいのであれば、今ならパブリックク...
hdfs

HDFSでアクセス制御リスト(ACL)を設定する

6日目です。昨日のブログでHDFSの拡張属性を紹介しましたが、当初の予定はACLがメインででした。ところがCloudera Quickstart VM 5.2の思わぬ罠にハマってしまい、トラブルシュートに延々と時間を費やしたあげくに、結局は...
Cloudera Manager

Cloudera Quickstart VMの罠(?)

Cloudera Quickstart VMの最新版をダウンロードして、HDFSでACLの設定を検証しました。が、デフォルトの設定に罠があるので、試される方はご注意ください。原因はつまらないことなんですが、こんなときにこそCloudera ...
hdfs

HDFSの拡張属性 xattr

5日目です最近(と言っても少し前ですが)、HDFSにもLinuxでおなじみの拡張属性(xattr)が追加されました。今回はこの機能がどういうものかを見てみましょう。
hadoop

Hadoop関連本リリース予定 (2014/12版)

4日目です。2015/1/1: 最新情報を別ページにまとめましたO'Reillyのサイバーセールで洋書を買いまくった皆様、いかがお過ごしでしょうか?前回のブログからだいぶ時間が過ぎてしまったので、今後出版される予定のHadoop関連本のまと...
HBase

HBase 0.98でのファイル配置(HDFS)

3日目です。HBaseのバイブルとなっている、オライリーから出版されている書籍、HBase。(通称馬本)。個人的には象本よりも愛用している(せざるを得ない)素晴らしい本ですが、出版されてから2年が過ぎ、現在のバージョンとは違っているところも...
Spark

Apache Sparkとデータの永続化

2日目ですApache Sparkは「インメモリで処理できる分散処理基盤」ですが、状況によってはディスクへのアクセスがあります。 明示的にディスクに永続化した場合 (persist()) チェックポイントを取った場合(checkpoint(...
hadoop

2014年の象(Hadoop)四方山話

Spark, SQL on Hadoop etc. Advent Calendar 2014 1日目、およびHadoop関連(全部俺) Advent Calendar 2014の1日目です。初日なので、昨年ブログに続いて2014年のHado...
Uncategorized

アドベントカレンダーの季節

早いもので、今年もAdvent Calendarの時期がやってきました。去年に続いてHadoopネタで書こうと思っていますが、今年はタイトルも変わってますね。Spark, SQL on Hadoop etc. Advent Calendar...
hadoop

象本4版?

明日からStrata+Hadoop World 2014が始まります。去年はCDH5やImpala 2.0がリリースされたように、今年も新しい製品が数多く登場することでしょう。できる限り手元の環境で試したいものです。さて、そんな中、気になる...