摘要： 一、并行查询 https://www.doubao.com/chat/collection/37124712262515970?type=Thread 1、并行查询触发时机（开发者视角，3 个条件同时满足） 纯SELECT只读查询 + 涉及千万级及以上大表 + 无高效索引的复杂查询（全表 / 范围扫 阅读全文

摘要： 1.获取kafka数据，直接写入doris的主键表 https://www.doubao.com/chat/collection/36860041743623426?type=Thread 2.获取kafka数据，统计用户点击数，写入doris的主键表 https://www.doubao.com/ 阅读全文

摘要： 两种更新方法： 1.通过数据导入进行更新(upsert) 1.1 所有的导入方式（Stream Load, Broker Load, Routine Load, INSERT INTO）都天然支持 UPSERT 语义。当新数据导入时，如果其主键已存在，Doris 会用新行数据覆盖旧行数据；如果主键不 阅读全文

摘要： 一、K8s的架构理解 地址：https://www.doubao.com/chat/collection/35886578442287106?type=Thread 二、k8s的流程拆解 地址：https://www.doubao.com/chat/collection/35944020059716 阅读全文

摘要： 一、架构解析 https://www.doubao.com/chat/collection/35701657376356098?type=Thread 协调器：可启用主从模式，以提供高可用性。 代理：每个集群一个或多个 流节点：每个集群一个或多个 查询节点：每个群集一个或多个 数据节点：每个群集一个 阅读全文

摘要： 地址： https://www.doubao.com/chat/collection/35409788456678402?type=Thread 主要用在shuffle和状态保存两种场景 阅读全文

摘要： 一、背景和过程 Shuffle是把分散在不同节点的「相同 Key 数据」聚到一起，核心规则是「相同 Key 去同一个地方」，这个过程中就会涉及到几个问题， 本地分类（Map 端） 每个教室先把手里的试卷，按「班级」分成几摞（比如一班一摞、二班一摞），写在小纸条上标记（避免搞混） 先在本地整理，减少后 阅读全文

摘要： 一、概念 内存溢出，本质就是「某一端（Executor/Driver）要处理的数据量 / 内存占用，超过了它被分配的内存上限，Spark 4.x 中 95% 的 OOM 发生在「Executor 端」，5% 发生在「Driver 端」； 二、现像介绍 2.1 Executor端： 发生问题基本是在s 阅读全文

摘要： Spark SQL 的所有关联操作，都是基于「临时视图 / 永久视图」执行，你从 Kafka/Doris 读取的 DataFrame，只需执行一行代码注册为临时视图 所有 SQL 执行后返回 DataFrame：df_result = spark.sql("""完整SQL语句""")， 坑4：关联键 阅读全文

摘要： 一、滚动窗口 (Tumbling Window) 窗口的时长 = 滑动步长，窗口之间无任何重叠、无间隙，数据只会落入「唯一一个窗口」中 ✔ 核心特征 窗口边界固定：如 00:00-00:10、00:10-00:20、00:20-00:30，严格切分，无重叠； 数据唯一归属：一条数据只能落入一个窗口， 阅读全文