未分類

Cloudera ImpalaのインストールCloudera Impalaのインストールは マニュアル Cloudera Manager経由のいずれかで行うことが可能です。後者の方がImpalaをインストール／実行は簡単ですが、Cloude...

＊この情報は未検証なので、確認ができたらアップデートします＊Impaladが起動しないというツイートを見かけたので調査してみました。Impaladを起動する際にNameNodeのポート番号を指定する必要があります。リリースノートによると現在...

米国で開催されている Strata Conf + Hadoop World 2012 で、ついに Cloudera Impala（Public Beta) が発表されました！Impalaとは？Cloudera Impala (はオープンソー...

本日CDH4.1 (Cloudera's Distribution including Apache Hadoop) がリリースされました。(*1)今回のリリースでは NameNode-HAの編集ログがQuorumベースのストレージ領域に書...

巷の書籍／ウェブサイトをみると、Hadoopの開始にはstart-all.shを使用するように書かれていることが多いですが、CDHをパッケージからインストールした場合に上記のコマンドの実行は必須ではありません。例えばRHEL/CentOS用...

CDH3u5ではJobTracker Recovery機能に対応しています。 この機能は、MapReduceでジョブを実行中にJobTrackerに障害が発生した場合、JobTrackerの再起動後に該当するジョブをリカバリしてくれるという...

HadoopのHDFSの使用量をコマンドラインから確認するには、 hadoop fsck / hadoop dfsadmin -reportなどを使用する方法があります。ところが、これらのツールで表示される結果が少し異なって表示されます。f...

Hadoopの各デーモンにはwebuiがありますが、オプションを渡すことにより、稼働中のデーモンの設定を表示することができます。JobTrackerでの例：スクリーンショットwebUIから表示できるのは意外と知られていないような気もするので...

同僚がMacBook Proのメモリを16GB増設したときに行った作業の備忘録です。 （物理的に）メモリ増設 PRAMクリア（*1) シャットダウン Command+Option+P+Rを押しながら電源ON 自動で再起動するので起動音がした...

数年前に書いたLinux KernelのPageCacheとSwapの資料を発見したので、slideshareで公開します。 若干古いですが参考になれば。もし間違いがあればご指摘ください。 pagecache-memo from ker...