Spark Hadoopのいろんな言語でwordcount(2) : Apache Spark
Hadoop関連（全部俺） Advent Calendar 2014:15日目の記事です昨日に続いて今日もwordcountです。今日はApache Spark (Scala、Python、Java）でwordcountを実行してみましょう...
HadoopAdvent2014
Spark 
hadoop Hadoopのいろんな言語でwordcount(1)
Hadoop関連（全部俺） Advent Calendar 2014:14日目の記事ですApache Crunchを少し調べたついでに、Hadoopでいろんな言語を用いてwordcountを実行してみました。まずはMapReduce, Ha...
hive 2014年版 Hadoopを10分で試す(5) まずはHiveから（後編）
Hadoop関連（全部俺） Advent Calendar 2014:13日目の記事です＃既に10分を超えてしまったかもしれませんが、、、昨日はHiveが使用するメタストアについて紹介しました。テーブルは作成されていますが、まだデータがあり...
hive 2014年版 Hadoopを10分で試す(4) まずはHiveから（中編）
Hadoop関連（全部俺） Advent Calendar 2014:12日目の記事です昨日はHueからHiveを使ってクエリを行いました。Hiveでのクエリの実行時には間接的にMapReduceのジョブが実行されています。CDH5ならMa...
hive 2014年版 Hadoopを10分で試す(3) まずはHiveから（前編）
Hadoop関連（全部俺） Advent Calendar 2014:11日目の記事ですCloudera Quickstart VMによりHadoopの環境が用意できました。HadoopのコアはHDFS（Hadoop分散ファイルシステム）と...
HBase マルチテナント環境でのHBaseの改善
Hadoop関連（全部俺） Advent Calendar 2014:10日目の記事です
「HBase徹底入門」発売決定!
O'ReillyのHBase（馬本）も第2版に向けて執筆が進んでいるようですが、日本でも、翔泳社から「HBase徹底...
Cloudera Manager Cloudera ManagerでLZOのライブラリを配布
Hadoop関連（全部俺） Advent Calendar 2014:9日目の記事です昨年のブログにも書きましたが、Hadoopの圧縮フォーマットにLZOを使いたいことがよくあります。LZOはスプリット可能な圧縮フォーマットなので、MapR...
Cloudera Manager 2014年版 Hadoopを10分で試す(2) Cloudera Manager環境に移行する
Hadoop関連（全部俺） Advent Calendar 2014:8日目のブログです昨日のブログでHadoopが動作している環境を手にしたわけですが、昨日も書いた通り、現バージョンのCloudera Quickstart VMは、デフォ...
Cloudera Manager 2014年版 Hadoopを10分で試す(1)
Hadoop関連（全部俺） Advent Calendar 2014:7日目先週の研修中に、「Hadoopをこれから試してみたいけど、どこから始めたらいいでしょうか？」という質問がありました。構築の勉強をしたいのであれば、今ならパブリックク...
hdfs HDFSでアクセス制御リスト（ACL）を設定する
６日目です。昨日のブログでHDFSの拡張属性を紹介しましたが、当初の予定はACLがメインででした。ところがCloudera Quickstart VM 5.2の思わぬ罠にハマってしまい、トラブルシュートに延々と時間を費やしたあげくに、結局は...