hadoop-logo
ようこそ Tech blogへ!
「これからHadoopを勉強しよう」という方はまず下記のページから

サイトの移行に伴って画像が表示されないなどの不具合が生じています

hudi

Apache Hudiにあるテーブルへのアクセスに関する情報

Apache Hudi にあるテーブルへのアクセス HudiにSparkからアクセスするQuickstart(spark-shellとPySpark)
Docker

HueからImpala+Kuduへの接続を全てDockerで行う

Kudu-ImpalaのDockerイメージを使うと、KuduやImpalaのインストールは不要で、ImpalaからSQLを用いてKuduにクエリを行うことができます。 ImpalaもKuduも、本来は数十〜数百ノードに分散してスケールアウ...
impala

Apache Impala 3.4 リリース!

前回のリリースからだいぶ時間がかかった気がしますが、Impala 3.4 がリリースされました。 "To Impala 4 and beyond!" とあるので今後は Impala 4 に向けての開発が進んで行きそうですが、ver 3....
その他

COVID-19 の濃厚感染を安全に追跡するアーキテクチャー

新型コロナウィルスの感染者との濃厚接触を追跡する各国の試み 世界中で感染拡大が続いている新型コロナウィルスですが、ワクチンや治療薬ができるまで、感染を抑えるには濃厚接触を避けることが重要です。 濃厚接触を避けるために「ステイホーム」は重要で...
ozone

Apache Ozoneに関する情報

Apache Ozone Apache OzoneはApache Hadoopから派生したプロジェクトで、オープンソースのオブジェクトストアです。 ClouderaのブログにApache Ozoneの翻訳記事が掲載されていますが、日本語の...
impala

Apache ImpalaからKuduのQuickstart環境を使う(10分で試すシリーズ)

Apache Impala via Kudu Quickstart Environment 以前、Kudu の Quickstart 環境のブログを書きましたが、その時は a) Apache NiFi でデータをKuduに書き込み、b) A...
hdfs

HDFS高可用性記事抄訳

HDFS HA 記事の抄訳 諸般の事情で下記コンテンツを訳したので貼っておきます。 実装 Cloudera ManagerとCDHは、HAの実装にクォーラムベースのストレージをサポートしています。 クォーラムベースのストレージとは、QJM...
hue

Hue 2019年情報

このブログは「Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2019」の23日目の記事です。 先日Hueのプロジェクト...
hadoop

Hadoop is Dead. Long live Hadoop の所感

数年前から「Hadoopは終わった」と言われることがあります。 厳密なHadoopの定義は Apache Hadoop プロジェクトを指しますが、現在では異なる意味で使われていることも多いです。では、Hadoopは時代と共に消えたソフ...
Kudu

Apache Kuduを10分で試す(3) Spark編

Apache Kuduを10分で試すシリーズの3回目です。前回のブログに続き、今回は Spark からKuduにデータを書き込むチュートリアルを試してみましょう。 Kudu-Sparkのクイックスタートはこちらから参照...