hadoop

CDH5

CDH5 beta1を速攻で試す!

CDH5 beta1が公開された!!!!ClouderaのEnterprise Data Hubの核とも言えるCloudera 5(CDH5とCloudera Manager5)のうちのCDH5。本日公開となったCDH5 beta1がClo...
cloudera

Cloudera World Tokyo 2013 開催!

Cloudera World Tokyo 2013 〜Hadoopの祭典、新しい価値の創造〜、開催2013年11月7日(木)に目黒雅叙園で開催される予定の「Cloudera World Tokyo 2013」、Hadoopのみならず、ビッグ...
hadoop

そして、Pig 0.12もリリース

Pigもリリースされていました。リリースラッシュですね。This release include several new features such as ASSERT operator, Streaming UDF, new AvroSt...
hadoop

Apache Hadoop 2.2.0 GA 〜 HDFSに追加された機能の補足〜

Apache Hadoop 2.2.0 GAの重要な機能(追加)昨日書いたブログ祝! Apache Hadoop 2.2.0 GAリリースで漏れてしまった重要な機能の補足です。Apache Hadoop 2.2.0 でもGAになりました。こ...
hadoop

祝! Hive 0.12リリース

Hive 0.12もリリース!Hadoop Worldが近いことは全く関係ないかと思いますが、Hadoop 2.2.0の公開の少し前にHive 0.12も公開されています。あとでチケットを見る予定ですが、一応リンクを、、。
hadoop

祝! Apache Hadoop 2.2.0 GAリリース

Apache Hadoop 2.2.0 GAがついに公開!Hadoop2.xといいながらも、今まで2.0.xはアルファ版、2.1.xがベータ版という不思議なリリースが続いていましたが、ついに2.2.0でGAとなりました。全く貢献できていませ...
hadoop

HDFSのヘテロジニアス対応

HDFSとヘテロジニアスな構成一般的に、Hadoopは同一構成のサーバを大量に並べる方が、運用が簡単です。非均一な構成は、特に設定ファイルの管理、チューニングが厄介です。そんな中、HDFS-2832で「Enable support for ...
hadoop

QJMによる高可用性HDFSのWebUIスクリーンショット

@daisukebe_氏が執筆しているHadoopオペレーションズの付録の手伝いで、QJMを使用した高可用性HDFS (HDFS-HA)の環境を構築しました。ネームノードのWebUIのスクリーンショットを取ったので、自分用に貼っておきます。
hadoop

HDFSの暗号化

Hadoopのセキュリティについての雑記認証についてはKerberosを使うというのがスタンダードですが、暗号化についても徐々に進んでいます。ネットワークの暗号化例えば、ネットワークの暗号化については下記のブログがお勧めです。
hadoop

Giraph関係のメモ

Facebookのグラフ処理はApache GiraphたまたまTwitterでGiraphの記事を見つけたのでメモ。Facebookがグラフ処理にApache Giraphを使っているという記事FacebookはGiraphに貢献している...