「初めてのSpark」刊行記念 Spark Meetup 2015は本日開催です

台風にも大雨にも負けず、本日ドワンゴのセミナールームにてSpark Meetupが開催されます。

http://cloudera.connpass.com/event/18857/

物好きなSparkに関心のある方の登録が340名、台風に伴う(?)キャンセルが相次ぎ、現在は280名弱ぐらいまでになっているので、補欠の方も参加できるかもしれませんね。

(余力があれば)参加レポートを書きます!ハッシュタグは #Sparkjp

2014年の象(Hadoop)四方山話

Spark, SQL on Hadoop etc. Advent Calendar 2014 1日目、およびHadoop関連(全部俺) Advent Calendar 2014の1日目です。

Zou2014

初日なので、昨年ブログに続いて2014年のHadoop関連の話題をまとめます。

※このブログの内容は所属している組織には関係なく、個人的な雑感です。間違いがあればご指摘下さい。
※なお、中立的に書いているつもりですが、多少偏りがあるかもしれません。が、特に悪意はありません :p (続きを読む)

アドベントカレンダーの季節

早いもので、今年もAdvent Calendarの時期がやってきました。

去年に続いてHadoopネタで書こうと思っていますが、今年はタイトルも変わってますね。

Spark, SQL on Hadoop etc. Advent Calendar 2014:https://qiita.com/advent-calendar/2014/distributedcomputing

#今年は「全部俺」カレンダーは厳しそう…(去年のカレンダー: http://www.adventar.org/calendars/310

Goodbye 2013, Hello 2014

あと数時間で2013年も終わりです。このブログが象の普及に少しでも役立てば幸いです。

さて、来年の干支は午。馬といえばHBase(!?)。

馬は扱いにくいと言われますが、正しくチューニングしてしっかり監視をしておくことが安全な運用に繋がります。公開されている事例は少ないですが、日本での利用もかなり増えています。Apache HBase、来年は干支にちなんでブレイクしてほしいですね。

elephants(それでも写真は象)

ということで、来年もよろしくお願いします。

#そしてまだ仕事は終わらない…

Hadoopを10分で試す(番外編) Cloudera Manager 5 ベータ環境を簡単に試す(前編)

**この記事の内容は若干古くなっています。まとめページもご覧下さい**

16日目です。(土日は基本的に休み)

以前にCloudera Demo VMを使った「Hadoopを10分で試す」というブログシリーズを書きましたが、今回はその環境をCDH5 /Cloudera Manager 5にしてみるという企画です。

Cloudera社は、Cloudera のディストリビューションであるCDHと管理ツールであるCloudera Manager を簡単に評価するための仮想マシンイメージを用意しています(ダウンロード)。しかし、現時点でCDH5 beta1 / Cloudera Manager 5 beta用のイメージは提供されていません。いち早く試してみたいのがエンジニアの性。でも環境を用意するのが面倒だなぁという方のために、Demo VMの仮想マシンをCDH5/Cloudera Manager 5(共にベータ環境)にアップデートする方法を紹介します。 (続きを読む)

続)Cloudera Impala 情報 (11)

Impala情報 2013/1/9版

ニュース

雑記

Hadoop Conference Japan 2013 Winter が2013/1/21に開催されます。
登録ページ

このイベントでImpalaの概要について話をさせていただくことになりました。ImapalaやHadoopを知らない方を対象としていますので、細かい技術に興味がある方は上記のWebinarなどをご覧下さい 🙂

続) Cloudera Impala 情報 (3)

Cloudera Impala情報まとめ3

個人的に気になるCloudera Impalaのまとめ。公式ページ、ニュースなどはおよび)続 Cloudera Impala 情報 (2) もご覧下さい。別途整理して固定ページにする予定です。

ニュース記事

  1. 「Hadoopは低遅延に向かう」、米クラウデラのアワダラーCTO

http://itpro.nikkeibp.co.jp/article/NEWS/20121107/435724/
ITPro 中田さんの記事。CDH5とImpalaの話。DremelとF1についての話も。

技術情報

  1. Impala Q&A

http://www.chopl.in/blog/2012/11/07/impala-q-and-a/
@choplinさんのブログ。Cloudera World Tokyo 2次会で、CTOとの技術的な話のまとめ。これは技術に興味がある方は必見。

  1. Cloudera World Tokyoにいってきた

http://d.hatena.ne.jp/tagomoris/20121108/1352346785
@tagomorisさんのブログ、tagomorisのメモ置き場より。

  1. Impala: Real-time Queries in Hadoop

11/7(?)に実施したImpalaのwebinarを録画したビデオ (60分)

  1. Cloudera Impala

http://www.slideshare.net/cloudera/impala-realtime-queries-in-hadoop
多分上記webnarのスライド

Impala near-Term Features: Cloudera World Tokyoで取ったメモ

※多分後日スライドが公開されると思いますが、少しだけ。
(続きを読む)

続)Cloudera Impala 情報(2)

Cloudera Impala情報まとめ2

個人的に気になるCloudera Impalaのまとめ。公式ページ、ニュースなどは)続 Cloudera Impala 情報をご覧下さい。別途整理して固定ページにする予定です。

みんなの検証結果

  1. Cloudera Impalaの性能評価(Hiveとの比較)お勧め!
  2. http://www.slideshare.net/sudabon/cloudera-impalahive-14995751
    @sudabon さんによるHiveとImpalaの比較スライド。某速攻レビューと違いきちんとまとまっている(苦笑)

  3. 外道父の匠:How to install Cloudera Impala (Beta) on Debianお勧め!
  4. http://blog.father.gedow.net/2012/11/06/how-to-install-cloudera-impala-beta-on-debian/
    まだ公式対応していないImpalaをDebianで動かしてしまうと言う素晴らしい記事

いくつかの質問と回答

  1. Isn’t Cloudera Impala doing the same job as Apache Drill incubator project? – ImpalaとDrillの違い
  2. http://www.quora.com/Cloudera-Impala/Isnt-Cloudera-Impala-doing-the-same-job-as-Apache-Drill-incubator-project

  3. Is Impala aiming to be an open source alternative to existing MPP solutions? – Impalaは既存のMPPソリューションに対するOSSの代替を狙っているのか
  4. http://www.quora.com/Cloudera-Impala/Is-Impala-aiming-to-be-an-open-source-alternative-to-existing-MPP-solutions

その他集めた情報(100%正確かどうかはわかりません)

  1. RHEL/CentOS6.2+以外のプラットフォームの公開予定
  2. hadoop-user MLによると、Debian対応のパブリックベータは11/19を目標にしているようです。
    自力でビルドできるようです(2012/11/6 外道父の匠参照)

  3. Impala Shell、Beeswax以外でのアクセス(例えばThrift)方法は?
  4. 現状はODBCのみ。現状Thriftの実装はBeeswaxのみとなっていて、将来的にはもう少し広範囲に利用できるらしい。

    (続きを読む)

RHEL6 beta screenshots

There are RHEL6 beta1 screenshots on KVM.
RHEL6のベータ版が出たので、KVM上に仮想ゲストとしてインストールしてみました。
CDからブート直後の画面。(1)Boot Menu
(2)Language
(3)Keyboard
(4)Media

(1)Installation Menu(2)Keyboard
(3)
keyboard(4)installation media

Instalation Screen
(5)Top
(6)Warning(β版だから・・・)
(5)Installation(6)Installation - warning

Disk Partition layout
(7)Device
(8)Which type of installation
(9)Partition Details
(10)Write to disk
(7)Storage (8)Installation Type
(9)partition layout(10)formatting

Misc..
(11)ホスト名
(12)タイムゾーン
(13)rootのパスワード
(14)bootloader
(11)hostname(12)timezone
(13)Root password(14)bootloader

Install Type
(15)Menu
(16)Menu(cont)
(15)server-type 1(16)server-type 2

パッケージの選択

BaseSystem メニュー
(17)BaseSystem
(18)BaseSystem(cont)
(19)BaseSystem(cont)
(20)BaseSystem(cont)
(21)BaseSystem(cont)

(17)BaseSystem1(18)BaseSystem2
(19)BaseSystem3(20)BaseSystem4
(21)BaseSystem5

Server メニュー
(22)Server Menu
(23)Server Menu (cont)
(24)Server Menu (cont)

(22)Server1(23)Server2
(24)Server3

ウェブサービス
(25)WebServices
(25)WebServices

データベース
(26)Databases
(26)Databases
高可用性
(27) High Availability

(27)High Availability

仮想化
(28)Virtualization

(28)Virtualization

デスクトップ
(29)desktop
(30)desktop(cont)

(29)Desktop1(30)Desktop2

アプリケーション
(31)Application

(31)Applications

開発ツール
(32)Development

(32)Development

言語
(32)言語の選択(一部のみ)

(33)Languages

インストール中
(34)Installing…

(34)Install progress
Complete!!
(35) Complete.

(35)Finish Selection

Rebooting..
(37)booting
(38)Login prompt (Run level 3)
(37)Booting(38)runlevel3
Firstboot
(38)Welcome
(39)Create User
(40)Date and Time
(39)Firstboot1(40)Firstboot2
(41)Firstboot3