Kudu Apache Kuduを10分で試す（１）
このブログでは何度も紹介していますが、Apache Kuduは分散ストレージエンジンです。RDBMSのようなテーブル構造の大量のデータを分散して保持することができます。HDFSとは異なりデータの更新が可能で、列指向でデータを保持している...
Kudu 
CDH6 Cloudera Enterprise 6.3.0 リリース
本日 Cloudera Manager/CDH の最新版である Cloudera Enterprise 6.3.0 がリリースされました。前のバージョンに比べると緩やかな変更に見えますが、Free IPA対応やKudu/Impalaのマイナ...
Kudu Kudu 1.10.0 での興味深い変更点
今月公開された Kudu 1.10.0、バックアップ/リストアツールが含まれるようになりました。（リリースノート）リリースノートの興味深い手順は次の通り。バックアップとリストアツール（詳細）Apache Sparkベースで実装フルバックアッ...
hive Hive on Kuduの対応状況
Apache Hive から Apache Kuduを利用したいという要望 (HIVE-12971) は以前からありましたが、ついに対応されそうです。アナリティクス用途であれば Impala on Kudu で十分だと思うんだけど、Hive...
hdfs HDFSのスモールファイルの問題のブログ翻訳
HDFSに小さなファイルを溜めるといくつかの問題が生じます。例えば、NameNodeのメモリを大量に消費したり、あるいは分散処理の際のパフォーマンスが劣化します。この問題の原因、予防、対処法が書かれていたブログ記事の内容がかなり良かったので...
hdfs HDFS イレイジャーコーディングの性能について
Hadoop 3.x でサポートされたHDFS Erasure Coding (HDFS-EC)ですが、HDFSに利用するストレージの容量を節約することができるため、大量データを持っている方には魅力的です。一方、原則的に複数ラックが必要とか...
Kudu Kuduのパフォーマンスが60倍早くなった!?
週末にKuduの生みの親、Toddが以下のようなツイートをしていました。(XiaomiじゃなくAlipayからのパッチのようです）YCSBというNoSQLでよく利用されるベンチマークで、Kuduのパフォーマンスが〜60倍改善されたとのこと。...
impala HuluでImpala
MPPのクエリエンジンであるApache Impalaは、CSVなどのテキストフォーマットも扱えますが、高速な処理を行う場合はParquetを使用することが多いです。（あるいはApache Kuduを利用することも可能）Hulu の分析業務...
cloudera ClouderaのHadoop管理者向けトレーニング ver UP
ClouderaのHadoop管理者向けトレーニングがアップデートされました。
この内容を4日間でやるのは時間が足りないぐらいですが、管理者に必要な要素が満載です。
テキストは700ページ超え！
Hadoop管理者向...
その他 「データ指向アプリケーションデザインガイド」日本語版！
オライリーさんから表記の書籍が出版されます。「Designing Data‑Intensive Applications」の翻訳本です。原書は非常に良い本ですし、翻訳も玉川さんなので、はっきり言って「買い」かと。なお、発売は7/267/18...