未分類 Apache Mesos 終焉? Apache Mesos 分散システムでは、複数のコンピュータのリソース(CPUやメモリ)の管理、スケジューリングを行う必要があります。一襟として、Apache Hadoop にもリソース管理が含まれ、 YARN コンポーネントがその役目... 2021.04.07 未分類
hue Hueのまとめ 2020年版 Hue情報 2020年版 このブログは「Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2020」の23日目の記事です。 ここ数年間は1年... 2020.12.23 hue
impala Impala 4 でサポートされる予定のROLLUP、CUBE、GROUPING SETS ついに(というかようやくというか)、Impala でも SQL2003 のCUBE, ROLLUP, GROUPING SETS 関数が利用できるようになるようです。 Hive、Presto、Spark SQL等のSQL on Had... 2020.08.05 impala
hive Impala, Hive, Presto, Spark のJOINに関するメモ SQL on Hadoop でのJOIN時のテーブルの指定順序と挙動 結合の種類にもよりますが、複数のテーブルを結合する際、一つのテーブルを全てのワーカーノードに転送して行う場合があります。(Broadcast JOIN) もちろん、統計情... 2020.07.29 hiveimpalaprestoSpark
hdfs HDFS dfs サブコマンドのチートシート 以前に公開し、一番アクセスされている hdfs dfs のサブコマンドページの情報が古かったので、Hadoop3系で検証して全面的に書き直しました。 HDFS FSshell (hdfs dfs) コマンドのチートシートのPDFファ... 2020.06.19 hdfs
hudi Apache Hudiに関する情報 2020/6/8 更新: Apache Hudi がApacheのトップレベルプロジェクトになりました Apache Hudi はHDFSやオブジェクトストア上に実装される、大規模な分析データセットのストレージの取り込みと管理を行... 2020.05.27 hudi
Docker HueからImpala+Kuduへの接続を全てDockerで行う Kudu-ImpalaのDockerイメージを使うと、KuduやImpalaのインストールは不要で、ImpalaからSQLを用いてKuduにクエリを行うことができます。 ImpalaもKuduも、本来は数十〜数百ノードに分散してスケールアウ... 2020.05.07 DockerhueimpalaKudu
impala Apache Impala 3.4 リリース! 前回のリリースからだいぶ時間がかかった気がしますが、Impala 3.4 がリリースされました。 "To Impala 4 and beyond!" とあるので今後は Impala 4 に向けての開発が進んで行きそうですが、ver 3.... 2020.05.01 impala
その他 COVID-19 の濃厚感染を安全に追跡するアーキテクチャー 新型コロナウィルスの感染者との濃厚接触を追跡する各国の試み 世界中で感染拡大が続いている新型コロナウィルスですが、ワクチンや治療薬ができるまで、感染を抑えるには濃厚接触を避けることが重要です。 濃厚接触を避けるために「ステイホーム」は重要で... 2020.04.25 その他
ozone Apache Ozoneに関する情報 Apache Ozone Apache OzoneはApache Hadoopから派生したプロジェクトで、オープンソースのオブジェクトストアです。 ClouderaのブログにApache Ozoneの翻訳記事が掲載されていますが、日本語の... 2020.04.05 ozone