StarRocks 联表查询内存溢出优化实践总结
一、问题背景
某业务模块在 StarRocks 上执行一条联表查询 SQL 时频繁出现内存占用过高,导致查询超时甚至 BE 节点 OOM。原始 SQL 如下:
SELECT
ta.*
FROM
(
SELECT
DISTINCT d.task_apply_id
FROM
dmp_ods.ods_tk_deliver_realtime d
JOIN dmp_ods.ods_tk_deliver_levy_review_realtime r ON r.deliver_id = d.id
WHERE
r.levy_id = 66011
AND r.status = 'PENDING'
) sub
JOIN dmp_ods.ods_tk_task_apply_realtime ta ON sub.task_apply_id = ta.apply_id
WHERE
1 = 1
AND ta.apply_status IN ('TASKAPPLY_PASS')
AND (
ta.product = ''
OR ta.product = 'YOUFUOFFLINE'
)
ORDER BY
ta.apply_id DESC
LIMIT
0, 10
涉及三张表:
ods_tk_task_apply_realtime(任务领取单表,约 1273 万行)ods_tk_deliver_realtime(交付单表,约 110 万行)ods_tk_deliver_levy_review_realtime(审核记录表,约 1.1 万行)
查询目标是:找出指定服务商下待审核的交付单所关联的、且状态为“已通过”的任务领取单,按领取单 ID 倒序取前 10 条。
二、问题根因分析
通过 EXPLAIN 获取执行计划,发现关键瓶颈在于 Hash Join 的 Build 阶段:
- 左表
ods_tk_task_apply_realtime全表扫描 1273 万行,作为 Hash Join 的 Build 表全部加载到内存。 - 尽管右表(子查询结果)经过筛选后仅有数千行,但左表缺乏有效的过滤条件,导致 StarRocks 不得不将整个大表载入内存构建哈希表。
- 该表未按时间字段做 Range 分区,也没有时间范围过滤,无法利用分区裁剪。
尝试改写未奏效:开发组曾尝试将嵌套子查询改写为 EXISTS 或 IN 的形式,期望 StarRocks 能生成 Semi Join 或更优的执行计划。然而,由于优化器版本限制及统计信息不准确,改写后的 SQL 依然产生了类似的 Hash Join 计划,内存占用并未改善。因此,单纯改变 SQL 写法无法从根本上解决问题。
三、优化方案
3.1 核心思路:基于业务特征增加时间限定
经与业务方沟通,确认该查询只需关注最近 90 天内的任务领取单。因此,在 SQL 中增加 create_time 过滤条件:
AND ta.create_time >= DATE_SUB(NOW(), INTERVAL 90 DAY)
3.2 为什么时间限定有效?
- 大幅减少数据量:1273 万行中,近 90 天的数据约 200 万行,仅为全表的 15%。
- 降低 Hash Join 内存:Build 表从 1273 万行降至 200 万行,哈希表内存占用从 ~1.5GB 降至 ~250MB。
- 加速排序:TOP-N 排序的数据量同步减少,排序效率提升。
3.3 辅助优化(可选)
为进一步降低内存,还可结合以下措施:
- 将子查询改写为 Semi Join(
IN (subquery)),避免显式去重带来的额外内存开销。 - 若右表结果集极小(本例中仅数千行),可强制使用 Broadcast Join Hint(
/*+ BROADCAST */),避免左表数据 Shuffle。
但本次优化中,仅靠时间限定已彻底解决问题,故未引入额外改动。
四、优化效果
| 指标 | 优化前 | 优化后 |
|---|---|---|
| 左表扫描行数 | 12,735,617 | ~2,000,000 |
| Hash Join Build 内存 | ~1.5 GB | ~250 MB |
| 查询耗时 | 15~30 秒(常超时) | < 2 秒 |
| BE 节点内存峰值 | 接近 OOM | 平稳 |
线上验证连续运行一周,未再出现内存告警或 OOM。
五、经验总结
- StarRocks 中 Hash Join 的内存瓶颈往往来自 Build 表的大小,而非 Probe 表。优先确保 Build 表有足够的过滤条件。
- 时间字段是 OLAP 查询中最常见的天然过滤维度。在表设计阶段就应考虑按时间分区,并在查询中强制带上时间范围,既提升性能又保障稳定性。
- 不要迷信分桶键:分桶只影响数据分布,不影响扫描行数。减少扫描量的关键是分区裁剪和 WHERE 过滤。
- SQL 改写并非万能:在本例中,尝试
EXISTS/IN改写均未带来实质性的执行计划改善。只有从业务层面找到有效的过滤维度,才是根治之道。 - 优化要从业务出发:开发组同学深入理解业务场景,发现“只需近 90 天数据”这一关键约束,才实现了低成本、高收益的优化。
- 长期来看,可将
ods_tk_task_apply_realtime表按create_time增加 Range 分区(如按月分区),使分区裁剪自动生效,进一步减少不必要的全表扫描。
当看到一些不好的代码时,会发现我还算优秀;当看到优秀的代码时,也才意识到持续学习的重要!--buguge
本文来自博客园,转载请注明原文链接:https://www.cnblogs.com/buguge/p/23673885
浙公网安备 33010602011771号