hadoop

CDH5

CDH5 beta1を速攻で試す!

CDH5 beta1が公開された!!!! ClouderaのEnterprise Data Hubの核とも言えるCloudera 5(CDH5とCloudera Manager5)のうちのCDH5。本日公開となったCDH5 beta1がCl...
cloudera

Cloudera World Tokyo 2013 開催!

Cloudera World Tokyo 2013 〜Hadoopの祭典、新しい価値の創造〜、開催 2013年11月7日(木)に目黒雅叙園で開催される予定の「Cloudera World Tokyo 2013」、Hadoopのみならず、ビッ...
hadoop

そして、Pig 0.12もリリース

Pigもリリースされていました。リリースラッシュですね。 This release include several new features such as ASSERT operator, Streaming UDF, new Avro...
hadoop

Apache Hadoop 2.2.0 GA 〜 HDFSに追加された機能の補足〜

Apache Hadoop 2.2.0 GAの重要な機能(追加) 昨日書いたブログ祝! Apache Hadoop 2.2.0 GAリリースで漏れてしまった重要な機能の補足です。Apache Hadoop 2.2.0 でもGAになりました。...
hadoop

祝! Hive 0.12リリース

Hive 0.12もリリース! Hadoop Worldが近いことは全く関係ないかと思いますが、Hadoop 2.2.0の公開の少し前にHive 0.12も公開されています。 あとでチケットを見る予定ですが、一応リンクを、、。
hadoop

祝! Apache Hadoop 2.2.0 GAリリース

Apache Hadoop 2.2.0 GAがついに公開! Hadoop2.xといいながらも、今まで2.0.xはアルファ版、2.1.xがベータ版という不思議なリリースが続いていましたが、ついに2.2.0でGAとなりました。 全く貢献できて...
hadoop

HDFSのヘテロジニアス対応

HDFSとヘテロジニアスな構成 一般的に、Hadoopは同一構成のサーバを大量に並べる方が、運用が簡単です。非均一な構成は、特に設定ファイルの管理、チューニングが厄介です。 そんな中、HDFS-2832で「Enable support fo...
hadoop

QJMによる高可用性HDFSのWebUIスクリーンショット

@daisukebe_氏が執筆しているHadoopオペレーションズの付録の手伝いで、QJMを使用した高可用性HDFS (HDFS-HA)の環境を構築しました。ネームノードのWebUIのスクリーンショットを取ったので、自分用に貼っておきます。
hadoop

HDFSの暗号化

Hadoopのセキュリティについての雑記 認証についてはKerberosを使うというのがスタンダードですが、暗号化についても徐々に進んでいます。 ネットワークの暗号化 例えば、ネットワークの暗号化については下記のブログがお勧めです。
hadoop

Giraph関係のメモ

Facebookのグラフ処理はApache Giraph たまたまTwitterでGiraphの記事を見つけたのでメモ。 Facebookがグラフ処理にApache Giraphを使っているという記事 FacebookはGiraphに貢献...