その他 HackMDのvimモード
社外の人に情報共有する際、最近ではNotionやHackMDを利用することが多い。HackMDは2年ほど前に教えていただいてから使っているが、Markdownで書けることと、プレビューで表示されること、共有もシンプルで簡単なことが気に入って...
kernel023
その他 
impala Impala 4.0 とPresto 350によるSQLレシピ本の検証（１）
Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2021 23日目です。今年も Hue について書こうかと考えていましたが、最近 SQL(Pr...
その他 オープンデータセット
## 役立ちそうなオープンデータセット
備忘録がてらまとめておく
- 【保存版】オープンデータ・データセット100選 -膨大なデータを活用しよう！
- 様々なオープンデータセット (GitHub)
impala Apache Impala ４.0 リリース！
Impala ４.0 releasedImpalaはMPPのクエリエンジンです。およそ3年振りとなるApache Impala のメジャーバージョンアップデートが行われました。リリースノートをざっと眺めてみて、気になる変更点をピックアップし...
未分類 Apache Mesos 終焉?
Apache Mesos分散システムでは、複数のコンピュータのリソース（CPUやメモリ）の管理、スケジューリングを行う必要があります。一襟として、Apache Hadoop にもリソース管理が含まれ、 YARN コンポーネントがその役目を担...
hue Hueのまとめ 2020年版
Hue情報 2020年版このブログは「Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2020」の23日目の記事です。ここ数年間は1年の締めく...
impala Impala 4 でサポートされる予定のROLLUP、CUBE、GROUPING SETS
ついに（というかようやくというか）、Impala でも SQL2003 のCUBE, ROLLUP, GROUPING SETS 関数が利用できるようになるようです。Hive、Presto、Spark SQL等のSQL on Hadoopで...
hive Impala, Hive, Presto, Spark のJOINに関するメモ
SQL on Hadoop でのJOIN時のテーブルの指定順序と挙動結合の種類にもよりますが、複数のテーブルを結合する際、一つのテーブルを全てのワーカーノードに転送して行う場合があります。(Broadcast JOIN)もちろん、統計情報を...
hdfs HDFS dfs サブコマンドのチートシート
以前に公開し、一番アクセスされている hdfs dfs のサブコマンドページの情報が古かったので、Hadoop３系で検証して全面的に書き直しました。
HDFS FSshell (hdfs dfs) コマンドのチートシートのPDFファイ...
hudi Apache Hudiに関する情報
2020/6/8 更新: Apache Hudi がApacheのトップレベルプロジェクトになりました Apache Hudi はHDFSやオブジェクトストア上に実装される、大規模な分析データセットのストレージの取り込みと管理を行う階層で...