その他

COVID-19 の濃厚感染を安全に追跡するアーキテクチャー

新型コロナウィルスの感染者との濃厚接触を追跡する各国の試み 世界中で感染拡大が続いている新型コロナウィルスですが、ワクチンや治療薬ができるまで、感染を抑えるには濃厚接触を避けることが重要です。 濃厚接触を避けるために「ステイホーム」は重要で...
ozone

Apache Ozoneに関する情報

Apache Ozone Apache OzoneはApache Hadoopから派生したプロジェクトで、オープンソースのオブジェクトストアです。 ClouderaのブログにApache Ozoneの翻訳記事が掲載されていますが、日本語の...
impala

Apache ImpalaからKuduのQuickstart環境を使う(10分で試すシリーズ)

Apache Impala via Kudu Quickstart Environment 以前、Kudu の Quickstart 環境のブログを書きましたが、その時は a) Apache NiFi でデータをKuduに書き込み、b) A...
hdfs

HDFS高可用性記事抄訳

HDFS HA 記事の抄訳 諸般の事情で下記コンテンツを訳したので貼っておきます。 実装 Cloudera ManagerとCDHは、HAの実装にクォーラムベースのストレージをサポートしています。 クォーラムベースのストレージとは、QJM...
hue

Hue 2019年情報

このブログは「Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2019」の23日目の記事です。 先日Hueのプロジェクト...
hadoop

Hadoop is Dead. Long live Hadoop の所感

数年前から「Hadoopは終わった」と言われることがあります。 厳密なHadoopの定義は Apache Hadoop プロジェクトを指しますが、現在では異なる意味で使われていることも多いです。では、Hadoopは時代と共に消えたソフ...
Kudu

Apache Kuduを10分で試す(3) Spark編

Apache Kuduを10分で試すシリーズの3回目です。前回のブログに続き、今回は Spark からKuduにデータを書き込むチュートリアルを試してみましょう。 Kudu-Sparkのクイックスタートはこちらから参照...
Kudu

Apache Kuduを10分で試す(2) NiFi編

前回のブログに続き、今回は NiFi からKuduにデータを書き込むチュートリアルを試してみましょう。 NiFiはNSA(国家安全保障局)が開発し、オープンソースとしてApacheに寄贈されたソフトウェアです。複雑なデータフローを...
Kudu

Apache Kuduを10分で試す(1)

このブログでは何度も紹介していますが、Apache Kuduは分散ストレージエンジンです。RDBMSのようなテーブル構造の大量のデータを分散して保持することができます。HDFSとは異なりデータの更新が可能で、列指向でデータを保持して...
CDH6

Cloudera Enterprise 6.3.0 リリース

本日 Cloudera Manager/CDH の最新版である Cloudera Enterprise 6.3.0 がリリースされました。 前のバージョンに比べると緩やかな変更に見えますが、Free IPA対応やKudu...