hadoop-logo
ようこそ Tech blogへ!
「Hadoopを勉強しよう」という方はまず下記のページから

サイトの移行に伴って画像が表示されないなどの不具合が生じていますが、コメントに書いていただければ随時修正します

impala

Impala 4 でサポートされる予定のROLLUP、CUBE、GROUPING SETS

ついに(というかようやくというか)、Impala でも SQL2003 のCUBE, ROLLUP, GROUPING SETS 関数が利用できるようになるようです。 Hive、Presto、Spark SQL等のSQL on Had...
hive

Impala, Hive, Presto, Spark のJOINに関するメモ

SQL on Hadoop でのJOIN時のテーブルの指定順序と挙動 結合の種類にもよりますが、複数のテーブルを結合する際、一つのテーブルを全てのワーカーノードに転送して行う場合があります。(Broadcast JOIN) もちろん、統計情...
hdfs

HDFS シェルコマンドのチートシート

HDFS FSshell (hdfs dfs) コマンドのチートシートのPDFファイルです。(Hadoop 3.1.1)。ダウンロードしてご利用下さい。 HDFS_FS_shell_command_cheat_sheet (PDF) 以...
hudi

Apache Hudiに関する情報

2020/6/8 更新: Apache Hudi がApacheのトップレベルプロジェクトになりました Apache Hudi はHDFSやオブジェクトストア上に実装される、大規模な分析データセットのストレージの取り込みと管理を行...
Docker

HueからImpala+Kuduへの接続を全てDockerで行う

Kudu-ImpalaのDockerイメージを使うと、KuduやImpalaのインストールは不要で、ImpalaからSQLを用いてKuduにクエリを行うことができます。 ImpalaもKuduも、本来は数十〜数百ノードに分散してスケールアウ...
impala

Apache Impala 3.4 リリース!

前回のリリースからだいぶ時間がかかった気がしますが、Impala 3.4 がリリースされました。 "To Impala 4 and beyond!" とあるので今後は Impala 4 に向けての開発が進んで行きそうですが、ver 3....
その他

COVID-19 の濃厚感染を安全に追跡するアーキテクチャー

新型コロナウィルスの感染者との濃厚接触を追跡する各国の試み 世界中で感染拡大が続いている新型コロナウィルスですが、ワクチンや治療薬ができるまで、感染を抑えるには濃厚接触を避けることが重要です。 濃厚接触を避けるために「ステイホーム」は重要で...
ozone

Apache Ozoneに関する情報

Apache Ozone Apache OzoneはApache Hadoopから派生したプロジェクトで、オープンソースのオブジェクトストアです。 ClouderaのブログにApache Ozoneの翻訳記事が掲載されていますが、日本語の...
impala

Apache ImpalaからKuduのQuickstart環境を使う(10分で試すシリーズ)

Apache Impala via Kudu Quickstart Environment 以前、Kudu の Quickstart 環境のブログを書きましたが、その時は a) Apache NiFi でデータをKuduに書き込み、b) A...
hdfs

HDFS高可用性記事抄訳

HDFS HA 記事の抄訳 諸般の事情で下記コンテンツを訳したので貼っておきます。 実装 Cloudera ManagerとCDHは、HAの実装にクォーラムベースのストレージをサポートしています。 クォーラムベースのストレージとは、QJM...