hadoop

Apache Hadoop 2.2.0 GA 〜 HDFSに追加された機能の補足〜

Apache Hadoop 2.2.0 GAの重要な機能(追加)昨日書いたブログ祝! Apache Hadoop 2.2.0 GAリリースで漏れてしまった重要な機能の補足です。Apache Hadoop 2.2.0 でもGAになりました。こ...
hadoop

祝! Hive 0.12リリース

Hive 0.12もリリース!Hadoop Worldが近いことは全く関係ないかと思いますが、Hadoop 2.2.0の公開の少し前にHive 0.12も公開されています。あとでチケットを見る予定ですが、一応リンクを、、。
hadoop

祝! Apache Hadoop 2.2.0 GAリリース

Apache Hadoop 2.2.0 GAがついに公開!Hadoop2.xといいながらも、今まで2.0.xはアルファ版、2.1.xがベータ版という不思議なリリースが続いていましたが、ついに2.2.0でGAとなりました。全く貢献できていませ...
hadoop

HDFSのヘテロジニアス対応

HDFSとヘテロジニアスな構成一般的に、Hadoopは同一構成のサーバを大量に並べる方が、運用が簡単です。非均一な構成は、特に設定ファイルの管理、チューニングが厄介です。そんな中、HDFS-2832で「Enable support for ...
hadoop

QJMによる高可用性HDFSのWebUIスクリーンショット

@daisukebe_氏が執筆しているHadoopオペレーションズの付録の手伝いで、QJMを使用した高可用性HDFS (HDFS-HA)の環境を構築しました。ネームノードのWebUIのスクリーンショットを取ったので、自分用に貼っておきます。
kernel

Tux君のロゴ

偶然懐かしい人(@ksota_kstyleさん)にお会いしたので、何かカーネルネタを書かねば、、ということで簡単に。TuxLinux起動時にペンギンのロゴが表示されますが、このロゴはカーネルのどこに定義されているのでしょうか?ヒントはフレー...
Others

サーバの引っ越し

サーバの調子が悪かったこともあり、このたび本ブログのサーバの引っ越しをしました。あまりにバージョンが異なったため、MySQLのテーブルを直接変更したりしたので、カテゴリがおかしい状態になっています。そのうちまとめて直します。慣れるまでしばら...
hadoop

HDFSの暗号化

Hadoopのセキュリティについての雑記認証についてはKerberosを使うというのがスタンダードですが、暗号化についても徐々に進んでいます。ネットワークの暗号化例えば、ネットワークの暗号化については下記のブログがお勧めです。
hadoop

Giraph関係のメモ

Facebookのグラフ処理はApache GiraphたまたまTwitterでGiraphの記事を見つけたのでメモ。Facebookがグラフ処理にApache Giraphを使っているという記事FacebookはGiraphに貢献している...
hadoop

HDFSのショートサーキット雑感

HDFSのShort-Circuit Local Readについてのブログ記事を読んで先週お盆休みに公開されたブログ、「How Improved Short-Circuit Local Reads Bring Better Performa...