Spark Hadoopのいろんな言語でwordcount(2) : Apache Spark
Hadoop関連（全部俺） Advent Calendar 2014:15日目の記事です昨日に続いて今日もwordcountです。今日はApache Spark (Scala、Python、Java）でwordcountを実行してみましょう...
kernel023
Spark kernel Kernel 3.18のbpfシステムコール
久々の Kernel ネタ＃というほどでもないですがwLinux Kernel 3.18 が12/7にリリースされて一週間ほど経過し、愛用の kernelnewbies にも Kernel 3.18 のページが登場しました。（一カ所、BPF...
hadoop Hadoopのいろんな言語でwordcount(1)
Hadoop関連（全部俺） Advent Calendar 2014:14日目の記事ですApache Crunchを少し調べたついでに、Hadoopでいろんな言語を用いてwordcountを実行してみました。まずはMapReduce, Ha...
hive 2014年版 Hadoopを10分で試す(5) まずはHiveから（後編）
Hadoop関連（全部俺） Advent Calendar 2014:13日目の記事です＃既に10分を超えてしまったかもしれませんが、、、昨日はHiveが使用するメタストアについて紹介しました。テーブルは作成されていますが、まだデータがあり...
hive 2014年版 Hadoopを10分で試す(4) まずはHiveから（中編）
Hadoop関連（全部俺） Advent Calendar 2014:12日目の記事です昨日はHueからHiveを使ってクエリを行いました。Hiveでのクエリの実行時には間接的にMapReduceのジョブが実行されています。CDH5ならMa...
hive 2014年版 Hadoopを10分で試す(3) まずはHiveから（前編）
Hadoop関連（全部俺） Advent Calendar 2014:11日目の記事ですCloudera Quickstart VMによりHadoopの環境が用意できました。HadoopのコアはHDFS（Hadoop分散ファイルシステム）と...
impala Impala Cookbookというスライドが公開されていました
先ほど公開されたImpala Cookbook（という名前のスライド）をざっと見てみました。結論：この資料はかなりイイ！Impalaの基礎からサイジング、ベンチマーク、マルチテナンシー、チューニングなどまで適度にまとまっています。Impal...
HBase マルチテナント環境でのHBaseの改善
Hadoop関連（全部俺） Advent Calendar 2014:10日目の記事です
「HBase徹底入門」発売決定!
O'ReillyのHBase（馬本）も第2版に向けて執筆が進んでいるようですが、日本でも、翔泳社から「HBase徹底...
Cloudera Manager Cloudera ManagerでLZOのライブラリを配布
Hadoop関連（全部俺） Advent Calendar 2014:9日目の記事です昨年のブログにも書きましたが、Hadoopの圧縮フォーマットにLZOを使いたいことがよくあります。LZOはスプリット可能な圧縮フォーマットなので、MapR...
Cloudera Manager 2014年版 Hadoopを10分で試す(2) Cloudera Manager環境に移行する
Hadoop関連（全部俺） Advent Calendar 2014:8日目のブログです昨日のブログでHadoopが動作している環境を手にしたわけですが、昨日も書いた通り、現バージョンのCloudera Quickstart VMは、デフォ...