hive Impala, Hive, Presto, Spark のJOINに関するメモ
SQL on Hadoop でのJOIN時のテーブルの指定順序と挙動
結合の種類にもよりますが、複数のテーブルを結合する際、一つのテーブルを全てのワーカーノードに転送して行う場合があります。(Broadcast JOIN)
もちろん、統計情...
hive 
hdfs HDFS シェルコマンドのチートシート
HDFS FSshell (hdfs dfs) コマンドのチートシートのPDFファイルです。(Hadoop 3.1.1)。ダウンロードしてご利用下さい。
HDFS_FS_shell_command_cheat_sheet (PDF)
以...
hudi Apache Hudiに関する情報
2020/6/8 更新: Apache Hudi がApacheのトップレベルプロジェクトになりました
Apache Hudi はHDFSやオブジェクトストア上に実装される、大規模な分析データセットのストレージの取り込みと管理を行...
Docker HueからImpala+Kuduへの接続を全てDockerで行う
Kudu-ImpalaのDockerイメージを使うと、KuduやImpalaのインストールは不要で、ImpalaからSQLを用いてKuduにクエリを行うことができます。
ImpalaもKuduも、本来は数十〜数百ノードに分散してスケールアウ...
impala Apache Impala 3.4 リリース！
前回のリリースからだいぶ時間がかかった気がしますが、Impala 3.4 がリリースされました。
"To Impala 4 and beyond!" とあるので今後は Impala 4 に向けての開発が進んで行きそうですが、ver 3....
その他 COVID-19 の濃厚感染を安全に追跡するアーキテクチャー
新型コロナウィルスの感染者との濃厚接触を追跡する各国の試み
世界中で感染拡大が続いている新型コロナウィルスですが、ワクチンや治療薬ができるまで、感染を抑えるには濃厚接触を避けることが重要です。
濃厚接触を避けるために「ステイホーム」は重要で...
ozone Apache Ozoneに関する情報
Apache Ozone
Apache OzoneはApache Hadoopから派生したプロジェクトで、オープンソースのオブジェクトストアです。
ClouderaのブログにApache Ozoneの翻訳記事が掲載されていますが、日本語の...
impala Apache ImpalaからKuduのQuickstart環境を使う（10分で試すシリーズ）
Apache Impala via Kudu Quickstart Environment
以前、Kudu の Quickstart 環境のブログを書きましたが、その時は a) Apache NiFi でデータをKuduに書き込み、b) A...
hdfs HDFS高可用性記事抄訳
HDFS HA 記事の抄訳
諸般の事情で下記コンテンツを訳したので貼っておきます。
実装
Cloudera ManagerとCDHは、HAの実装にクォーラムベースのストレージをサポートしています。
クォーラムベースのストレージとは、QJM...
hue Hue 2019年情報
このブログは「Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2019」の23日目の記事です。
先日Hueのプロジェクト...