buguge - Keep it simple,stupid

✅ 知识就是力量,但更重要的,是运用知识的能力✅ why buguge?

导航

StarRocks 联表查询内存溢出优化实践总结

一、问题背景

某业务模块在 StarRocks 上执行一条联表查询 SQL 时频繁出现内存占用过高,导致查询超时甚至 BE 节点 OOM。原始 SQL 如下:

SELECT
    ta.*
FROM
    (
        SELECT
            DISTINCT d.task_apply_id
        FROM
            dmp_ods.ods_tk_deliver_realtime d
            JOIN dmp_ods.ods_tk_deliver_levy_review_realtime r ON r.deliver_id = d.id
        WHERE
            r.levy_id = 66011
            AND r.status = 'PENDING'
    ) sub
    JOIN dmp_ods.ods_tk_task_apply_realtime ta ON sub.task_apply_id = ta.apply_id
WHERE
    1 = 1
    AND ta.apply_status IN ('TASKAPPLY_PASS')
    AND (
        ta.product = ''
        OR ta.product = 'YOUFUOFFLINE'
    )
ORDER BY
    ta.apply_id DESC
LIMIT
    0, 10

涉及三张表:

  • ods_tk_task_apply_realtime(任务领取单表,约 1273 万行)
  • ods_tk_deliver_realtime(交付单表,约 110 万行)
  • ods_tk_deliver_levy_review_realtime(审核记录表,约 1.1 万行)

查询目标是:找出指定服务商下待审核的交付单所关联的、且状态为“已通过”的任务领取单,按领取单 ID 倒序取前 10 条。

二、问题根因分析

通过 EXPLAIN 获取执行计划,发现关键瓶颈在于 Hash Join 的 Build 阶段:

  • 左表 ods_tk_task_apply_realtime 全表扫描 1273 万行,作为 Hash Join 的 Build 表全部加载到内存。
  • 尽管右表(子查询结果)经过筛选后仅有数千行,但左表缺乏有效的过滤条件,导致 StarRocks 不得不将整个大表载入内存构建哈希表。
  • 该表未按时间字段做 Range 分区,也没有时间范围过滤,无法利用分区裁剪。

尝试改写未奏效:开发组曾尝试将嵌套子查询改写为 EXISTS 或 IN 的形式,期望 StarRocks 能生成 Semi Join 或更优的执行计划。然而,由于优化器版本限制及统计信息不准确,改写后的 SQL 依然产生了类似的 Hash Join 计划,内存占用并未改善。因此,单纯改变 SQL 写法无法从根本上解决问题。

三、优化方案

3.1 核心思路:基于业务特征增加时间限定

经与业务方沟通,确认该查询只需关注最近 90 天内的任务领取单。因此,在 SQL 中增加 create_time 过滤条件:

AND ta.create_time >= DATE_SUB(NOW(), INTERVAL 90 DAY)

3.2 为什么时间限定有效?

  • 大幅减少数据量:1273 万行中,近 90 天的数据约 200 万行,仅为全表的 15%。
  • 降低 Hash Join 内存:Build 表从 1273 万行降至 200 万行,哈希表内存占用从 ~1.5GB 降至 ~250MB。
  • 加速排序:TOP-N 排序的数据量同步减少,排序效率提升。

3.3 辅助优化(可选)

为进一步降低内存,还可结合以下措施:

  • 将子查询改写为 Semi Join(IN (subquery)),避免显式去重带来的额外内存开销。
  • 若右表结果集极小(本例中仅数千行),可强制使用 Broadcast Join Hint(/*+ BROADCAST */),避免左表数据 Shuffle。

但本次优化中,仅靠时间限定已彻底解决问题,故未引入额外改动。

四、优化效果

指标 优化前 优化后
左表扫描行数 12,735,617 ~2,000,000
Hash Join Build 内存 ~1.5 GB ~250 MB
查询耗时 15~30 秒(常超时) < 2 秒
BE 节点内存峰值 接近 OOM 平稳

线上验证连续运行一周,未再出现内存告警或 OOM。

五、经验总结

  1. StarRocks 中 Hash Join 的内存瓶颈往往来自 Build 表的大小,而非 Probe 表。优先确保 Build 表有足够的过滤条件。
  2. 时间字段是 OLAP 查询中最常见的天然过滤维度。在表设计阶段就应考虑按时间分区,并在查询中强制带上时间范围,既提升性能又保障稳定性。
  3. 不要迷信分桶键:分桶只影响数据分布,不影响扫描行数。减少扫描量的关键是分区裁剪和 WHERE 过滤。
  4. SQL 改写并非万能:在本例中,尝试 EXISTS / IN 改写均未带来实质性的执行计划改善。只有从业务层面找到有效的过滤维度,才是根治之道。
  5. 优化要从业务出发:开发组同学深入理解业务场景,发现“只需近 90 天数据”这一关键约束,才实现了低成本、高收益的优化。

  • 长期来看,可将 ods_tk_task_apply_realtime 表按 create_time 增加 Range 分区(如按月分区),使分区裁剪自动生效,进一步减少不必要的全表扫描。

posted on 2026-11-15 22:22  buguge  阅读(11)  评论(0)    收藏  举报