ようこそ Tech blogへ！これからHadoopを勉強しよう、という方の訪問が多いようなので、そのような方はまず下記のページからどうぞ。
Hadoop 3系がリリースされ、CDH5のリリースから4年が経過した今、Cloudera Enterprise 6のβ版が公開されたようです。「CDH6」という名称の方がわかりやすいかもしれませんね。
Cloudera Etnerprise 6 のページを見ると、コンポーネントのバージョンが更新されています。
OSSのコンポーネントのバージョンも（プロジェクトによっては）かなり変わりそうですね。
以下のリンクにある情報の方が良さそうです。（ただ、Impala 3.9というのは間違いでしょ…）
https://www.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_60_packaging.htmll
時間をとって検証してみよう。
以前のブログ（Apache SparkでApache Kuduを利用する）の Spark2.x版です。前回のブログからあまり変わっていませんが、前回のブログの手順はSpark2.xで動作しなかったという話を聞いたのでアップデートしておきます。
なお、昨日 Kudu 1.7 がリリースされました！今回の特徴は
などです。
Announcing Apache Kudu 1.7.0, with decimal support, availability and performance improvements, and more! See the release announcement for details: https://t.co/VlKeS0ohp9
— Apache Kudu (@ApacheKudu) March 26, 2018
(2017/12/15更新）
本日 Apache Hadoop v3.0.0 が GA になりました！
https://blogs.apache.org/foundation/entry/the-apache-software-foundation-announces26
ハイライトは下記の通り（上記サイトから抜粋して翻訳）
HDFSのイレイジャーコーディングに加え、YARNにもいろいろな機能が増えているようで楽しみですね
Update: Hadoop 3.0.0 のドキュメントが公開されています
先日開催された Cloudera World Tokyo 2017 にて、「Clouderaが提供するエンタープライズ向け運用、データ管理ツールの最新情報の使い方」というセッションで講演させていただきました。セッション申し込みが200名超（汗）と緊張感がありましたが、以下がその内容です。
ついにImpalaがApacheのトッププロジェクトになりました！おめでとうございます！
2017/11/07に、秋恒例のイベント「Cloudera World Tokyo 2017」が開催されます。
http://www.clouderaworldtokyo.com/
今年は、”ビジネスを変える「データの力」”をテーマに、技術からビジネスまで、例年にも増して多種多様なセッションが用意されているようです。
タイムテーブルはこちら
参加費無料。定員の倍に達しているセッションもあるようなので、見たいセッションがある方はお早めに。
ハッシュタグは #CWT2017
HDFSは分散ファイルシステムとして確固たる地位を築きましたが、NFSのサポートやスナップショットなど、多くの機能が追加されています。
その中で、今後 Hadoop 3 で重要となる「HDFSのイレイジャーコーディング」を含めたClouderaのHDFSに関するブログ記事を日本語に翻訳しました。
全３回にわたって掲載する予定なので、興味があればご覧ください。
第１弾：Apache HadoopのHDFS Erasure Codingの紹介
第２弾：How-to: Apache Hadoopで新しいHDFS DataNodeディスク間バランサを使用する
第３弾：HDFSのメンテナンスステート
最近Apache Kuduのリードとライトの流れについてのブログが公開され、昨日は日本語でもウェビナーが開催されたりと盛り上がってきた「分散ストレージエンジン」のApache Kuduですが、SQLでのアクセスにはApache Impala (Incubating) との組み合わせが便利です。他方、Apache Sparkからも簡単に利用できます。
Kudu Quickstart VMを利用して、まずはチュートリアルにしたがって Impala からデータを投入し、クエリした後にSparkのDataFrameからアクセスしてみました。以下の手順は仮想マシン上で試せるほど簡単なので、プレミアムフライデーで帰る前に試せるぐらい簡単ですね。
チュートリアルに従ってデータを作成しました。
なお、チュートリアルと結果が違うのは、データ投入中にDELETE の実験をしたからです。
[demo@quickstart ~]$ impala-shell Starting Impala Shell without Kerberos authentication Connected to quickstart.cloudera:21000 Server version: impalad version 2.8.0-cdh5.11.0 RELEASE (build e09660de6b503a15f07e84b99b63e8e745854c34) *********************************************************************************** Welcome to the Impala shell. (Impala Shell v2.8.0-cdh5.11.0 (e09660d) built on Wed Apr 5 19:51:24 PDT 2017) When pretty-printing is disabled, you can use the '--output_delimiter' flag to set the delimiter for fields in the same row. The default is ','. *********************************************************************************** [quickstart.cloudera:21000] > SELECT * FROM sfmta ORDER BY speed DESC LIMIT 1; Query: select * FROM sfmta ORDER BY speed DESC LIMIT 1 Query submitted at: 2017-04-27 22:31:57 (Coordinator: http://quickstart.cloudera:25000) Query progress can be monitored at: http://quickstart.cloudera:25000/query_plan?query_id=14bb0d30cdfc1d4:59d3e08a00000000 +-------------+-------------+--------------------+-------------------+-------------------+---------+ | report_time | vehicle_tag | longitude | latitude | speed | heading | +-------------+-------------+--------------------+-------------------+-------------------+---------+ | 1357022016 | 8522 | -122.4538803100586 | 37.74539184570312 | 65.27799987792969 | 24 | +-------------+-------------+--------------------+-------------------+-------------------+---------+ Fetched 1 row(s) in 0.42s [quickstart.cloudera:21000] > SELECT COUNT(*) FROM sfmta; Query: select COUNT(*) FROM sfmta Query submitted at: 2017-04-27 22:33:03 (Coordinator: http://quickstart.cloudera:25000) Query progress can be monitored at: http://quickstart.cloudera:25000/query_plan?query_id=e4812eb162470dd:8d087b0200000000 +----------+ | count(*) | +----------+ | 842279 | +----------+ Fetched 1 row(s) in 0.20s [quickstart.cloudera:21000] >
Spark統合の参考ページはこちら
なお、テーブル名は Kudu の webui で調べました。
http://quickstart.cloudera:8051/
$ spark-shell --packages org.apache.kudu:kudu-spark_2.10:1.1.0
（略）
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/___/ .__/\_,_/_/ /_/\_\ version 1.6.0
/_/
Using Scala version 2.10.5 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_67)
Type in expressions to have them evaluated.
Type :help for more information.
17/04/27 22:52:54 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Spark context available as sc (master = local[*], app id = local-1493358775875).
17/04/27 22:52:57 WARN shortcircuit.DomainSocketFactory: The short-circuit local reads feature cannot be used because libhadoop cannot be loaded.
SQL context available as sqlContext.
scala> import org.apache.kudu.spark.kudu._
import org.apache.kudu.spark.kudu._
scala> val df = sqlContext.read.options(Map("kudu.master=" -> "quickstart.cloudera:7051","kudu.table" -> "impala::default.sfmta")).kudu
df: org.apache.spark.sql.DataFrame = [report_time: bigint, vehicle_tag: int, longitude: float, latitude: float, speed: float, heading: float]
scala> df.count
res0: Long = 842279
scala> df.show(5)
+-----------+-----------+----------+--------+------+-------+
|report_time|vehicle_tag| longitude|latitude| speed|heading|
+-----------+-----------+----------+--------+------+-------+
| 1356998401| 1479|-122.44695| 37.7222| 0.0| 51.0|
| 1356998401| 1525|-122.39674|37.79291| 0.0| 226.05|
| 1356998401| 1532|-122.45711|37.75034|14.305| 218.33|
| 1356998401| 1549|-122.43752| 37.7611| 0.0| 49.24|
| 1356998401| 5453|-122.42894|37.76705| 0.0| 0.0|
+-----------+-----------+----------+--------+------+-------+
only showing top 5 rows
scala> df.sort($"speed".desc).select("longitude","latitude","speed").show(3)
+----------+--------+------+
| longitude|latitude| speed|
+----------+--------+------+
|-122.45388|37.74539|65.278|
|-122.48861| 37.9074| 62.5|
|-122.48026|37.89245|55.833|
+----------+--------+------+
only showing top 3 rows
SQLでアクセスしたい場合はImpalaから行うと便利ですが、データエンジニアリングを行いたい場合など、SQL以外でのアクセスにはSparkも便利ですね。
そうそう、Apache Sparkのパフォーマンスのベンチマーク結果を翻訳して公開しました。興味がある方はこちらもどうぞ。
Apache Impala、同時実行時の速度において従来の分析データベースやSQL on Hadoopに圧勝
Cloudera 5.11が出たので久しぶりの更新です。
Hadoopも11年目を迎え、日本でも幅広い業種で使われるようになりました。数年前と比較すると圧倒的に使いやすくなっているので、過去に評価してそのままになっている方、既存の基盤で困っている方、そろそろ改めて検証しなおしてみてはいかがでしょうか？
例えば数年前と比べると、 (続きを読む)