Docker HueからImpala+Kuduへの接続を全てDockerで行う
Kudu-ImpalaのDockerイメージを使うと、KuduやImpalaのインストールは不要で、ImpalaからSQLを用いてKuduにクエリを行うことができます。ImpalaもKuduも、本来は数十〜数百ノードに分散してスケールアウト...
Docker 
impala Apache Impala 3.4 リリース！
前回のリリースからだいぶ時間がかかった気がしますが、Impala 3.4 がリリースされました。"To Impala 4 and beyond!" とあるので今後は Impala 4 に向けての開発が進んで行きそうですが、ver 3.4で個...
その他 COVID-19 の濃厚感染を安全に追跡するアーキテクチャー
新型コロナウィルスの感染者との濃厚接触を追跡する各国の試み世界中で感染拡大が続いている新型コロナウィルスですが、ワクチンや治療薬ができるまで、感染を抑えるには濃厚接触を避けることが重要です。濃厚接触を避けるために「ステイホーム」は重要ですが...
ozone Apache Ozoneに関する情報
Apache OzoneApache OzoneはApache Hadoopから派生したプロジェクトで、オープンソースのオブジェクトストアです。ClouderaのブログにApache Ozoneの翻訳記事が掲載されていますが、日本語の記事を...
impala Apache ImpalaからKuduのQuickstart環境を使う（10分で試すシリーズ）
Apache Impala via Kudu Quickstart Environment以前、Kudu の Quickstart 環境のブログを書きましたが、その時は a) Apache NiFi でデータをKuduに書き込み、b) Ap...
hdfs HDFS高可用性記事抄訳
HDFS HA 記事の抄訳諸般の事情で下記コンテンツを訳したので貼っておきます。実装Cloudera ManagerとCDHは、HAの実装にクォーラムベースのストレージをサポートしています。クォーラムベースのストレージとは、QJM(Quor...
hue Hue 2019年情報
このブログは「Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2019」の23日目の記事です。
先日Hueのプロジェクトサイトページ...
hadoop Hadoop is Dead. Long live Hadoop の所感
数年前から「Hadoopは終わった」と言われることがあります。
厳密なHadoopの定義は Apache Hadoop プロジェクトを指しますが、現在では異なる意味で使われていることも多いです。では、Hadoopは時代と共に消えたソフトウ...
Kudu Apache Kuduを10分で試す（3） Spark編
Apache Kuduを10分で試すシリーズの3回目です。前回のブログに続き、今回は Spark からKuduにデータを書き込むチュートリアルを試してみましょう。
Kudu-Sparkのクイックスタートはこちらから参照できます。こ...
Kudu Apache Kuduを10分で試す（2） NiFi編
前回のブログに続き、今回は NiFi からKuduにデータを書き込むチュートリアルを試してみましょう。
NiFiはNSA(国家安全保障局)が開発し、オープンソースとしてApacheに寄贈されたソフトウェアです。複雑なデータフローをビジュ...