CDH5 高可用性でフェデレーションなHDFS
HDFS-HA with federation高可用性HDFS(High Availability HDFS)の情報はたくさん公開されていますが、フェデレーションと組み合わせた設定についての情報は非常に少ないようです。手元の環境で構築したの...
CDH5 kvm KVMでCloudera Quickstart VMを動かす
ClouderaのQuickStart VMは、VMWware、VirtualBox、KVMの仮想マシンイメージが用意されています。対応仮想環境などはこちらKVMの仮想マシンイメージはqcow2ですが、virt-managerからダウンロー...
CDH5 新！Hadoopを10分で試す(2) HueからHiveのクエリを実行する
＊＊この記事の内容は若干古くなっています。まとめページもご覧下さい＊＊無事に起動したCloudera Quickstart VMを使用して、CDH5でいくつかのサービスを試していきましょう。本日はHiveのクエリです。
CDH5 新！Hadoopを10分で試す(1) CDH5の仮想マシンを使ってみる
＊＊この記事の内容は若干古くなっています。まとめページもご覧下さい＊＊本日、CDH5 / Cloudera Manager 5に対応した仮想マシンイメージが公開されました。今まで「Hadoopを10分で試す」シリーズとしてバージョンアップを...
Spark Sparkでワードカウントしてみる
本日Clouderaのブログで、「How-to: Run a Simple Apache Spark App in CDH 5」という記事が公開されました。一言で言えば、Apache SparkでWordCountを実行するというものです。...
CDH5 HDFSの新しい機能を確認 (5) – HDFSキャッシング
Hadoop 2.3.0 以降には「HDFSキャッシング」と呼ばれる、HDFSにキャッシュ機構が搭載されています。（参考: HDFSが高速に？キャッシュメカニズムの追加）さっそく手元のCDH5の環境で試してみました。
hadoop 祝！Hadoop 2.4.0 リリース
Hadoop 2.4.0 がリリースされています。前回から2ヶ月でのリリース。私見ですが、ちょっとリリースの間隔が短すぎじゃないかと思います。Linux Kernelと同じようなリリースサイクルが守られた方が良いと思うんですけどね。いろいろ...
CDH5 HDFSの新しい機能を確認 (4) – NFSゲートウェイ
以前も書いた通り、最近のHDFSではNFS Gatewayを利用することが可能になっています。CDH5 ベータ1 のNFSv3ゲートウェイを試してみましたこれにより、HDFSプロトコルを知らないレガシーアプリケーション、非Javaな環境、そ...
Cloudera Manager Cloudera Manager 5のディスクの概要ページが便利
手元のLXCの環境にCloudera Manager5の検証環境を作成しました。バージョン５からの機能だと思いますが、ホスト一覧から「ディスクの概要」ボタンをクリックすると、簡単にディスクの情報を得ることができます。
CDH5 HDFSの新しい機能を確認 (3) – HDFSスナップショット
現在、Hadoop 2.x系では HDFSのスナップショット機能が含まれています 。CDH5からこの機能がサポートされました。