Doris 异步物化视图与 Snowflake MV/Dynamic Tables:多表加速这条链路的两边事实
摘要
物化视图是查询加速的通用手段,但两边的“能力边界”差得不少。
一、先说结论
-
Apache Doris 异步物化视图:Doris 把物化视图做成异步、可声明刷新策略的能力,构建与查询可以解耦。该能力 2.1 版本引入、3.0 版本完善,支持多表 join、嵌套物化视图、全量与分区增量刷新、基于 SPJG 模式的透明改写(2.1.5 起默认开启),并可用
workload_group限制构建与刷新的资源占用。官方口径下,TPC-H 100G 单节点测试中透明改写相比普通查询响应时间降低约 99%,湖仓外表场景查询提速约 93 倍。分区增量刷新指的是仅刷新基表发生变化的那些分区,而不是每次全量重算。 -
Snowflake Materialized Views:需 Enterprise Edition 起,官方明确限制为单表(不支持 join)、聚合函数受限(不支持窗口函数、不支持 COUNT DISTINCT)、不支持嵌套子查询,由系统自动维护且消耗专属的
MATERIALIZED_VIEW_MAINTENANCE仓库 credits,该 credits 不受 Resource Monitor 管控。 -
Snowflake Dynamic Tables:2024-04-29 GA,官方建议将其作为新建多表 SQL 管道的首选;用
TARGET_LAG声明数据新鲜度,刷新分 incremental/full 两种,官方明确不会因变更量大而自动降级为全量刷新。 -
选型落点:单表聚合加速两边都能做;多表管道、嵌套分层、分区增量、刷新资源管控这几项,是差异集中区,也是做技术选型时要逐条核对的清单。
二、问题怎么产生
物化视图解决的是“重复计算”问题:把贵的计算提前算好存下来,查询到来时直接取,而不是每次都重跑。但“建了就快”是个误解:它有两个容易被低估的代价——维护成本(刷新要消耗计算资源)与能力边界(哪些 SQL 能被物化)。这两件事直接决定一个物化视图“能不能用、用得起”。
Snowflake 的处理方式是将单表加速与多表管道拆成两套独立机制:单表场景用 Materialized Views,多表管道用 Dynamic Tables。Doris 则用一套异步物化视图覆盖从单表聚合到多表分层建模的多数场景。机制划分的不同,会带来接入方式、成本结构与限制清单的差异。
还有一个常被忽略的点:物化视图的维护本身会消耗资源,且消耗的是独立的算力账单。如果维护成本压过了查询收益,物化视图反而变成负担。所以比较两套机制,不能只看“能不能加速”,还要看“维护起来贵不贵、能不能限”。
三、怎么做
下面按“Doris 建视图+资源管控”与“Snowflake 两套写法”两个角度,把接入差异落到具体语法上,并给出一张参数速查表,便于照抄与批注。
3.1 Doris:多表聚合+分区增量+资源管控
一个覆盖多表 join 的物化视图,可以同时指定分区增量刷新与构建资源组:
CREATE MATERIALIZED VIEW sales_agg_mv
BUILD IMMEDIATE REFRESH AUTO ON MANUAL
PROPERTIES (
"replication_num" = "1",
"workload_group" = "mv_build_group"
)
AS
SELECT
n_name, r_name,
date_trunc(o_orderdate, 'month') as month,
bitmap_union(to_bitmap(o_orderkey)) as order_count,
sum(l_extendedprice * (1 - l_discount)) as net_revenue
FROM orders o
JOIN lineitem l ON o.o_orderkey = l.l_orderkey
JOIN customer c ON o.o_custkey = c.c_custkey
JOIN nation n ON c.c_nationkey = n.n_nationkey
JOIN region r ON n.n_regionkey = r.r_regionkey
GROUP BY n_name, r_name, month;
workload_group 这一行把物化视图的构建和正常查询隔开,避免大视图刷新把在线查询的算力挤掉。分区增量刷新则让每天只动的分区被重算,其余分区原样保留,而不是整表推倒重来。
透明改写默认开启,原始查询无需改动即可被优化器改写为命中该视图:
-- Doris 2.1.5 起透明改写默认开启;如需显式开启:
SET enable_materialized_view_rewrite = true;
-- 查看物化视图刷新任务状态与资源消耗
SELECT * FROM tasks("type"="mv")
WHERE MvName = 'sales_agg_mv'
ORDER BY CreateTime DESC;
-- 查看物化视图元信息
SELECT * FROM mv_infos
WHERE Name = 'sales_agg_mv';
3.2 Snowflake:单表 MV 与多表 DT 两套写法
Snowflake 的 Materialized View 仅支持单表、不支持 join,多表逻辑需先落到单表再物化;多表管道则用 Dynamic Table:
-- Snowflake Materialized View:仅支持单表、不支持 join
CREATE MATERIALIZED VIEW mv_daily_sales
AS SELECT r_name, sum(l_extendedprice) AS revenue
FROM region_sales_agg -- 需先聚合到单表
GROUP BY r_name;
-- Snowflake Dynamic Table:多表管道推荐,TARGET_LAG 控制新鲜度
CREATE DYNAMIC TABLE dt_sales_pipeline
TARGET_LAG = '10 minutes'
WAREHOUSE = my_wh
AS
SELECT n_name, sum(l_extendedprice) AS revenue
FROM orders o JOIN lineitem l ON o.o_orderkey = l.l_orderkey
GROUP BY n_name;
上方 MV 示例里 join 被刻意省略——Snowflake MV 不允许 join,多表逻辑必须先落到单表;Dynamic Table 才承接多表管道,且用 WAREHOUSE 显式绑定刷新算力。
3.3 接入参数速查表
下面这张参数表把部署与接入时用到的变量、开关与声明集中列出:
| 参数名 | 建议值 | 作用 | 适用场景 |
|---|---|---|---|
| workload_group | mv_build_group(自定义) | 限制物化视图构建与刷新的资源占用,与在线查询隔离 | 大视图刷新避免挤占在线查询算力 |
| enable_materialized_view_rewrite | true | 开启透明改写,原始查询无需改动即可命中视图 | Doris 2.1.5 起默认开启,多数场景无需显式设置 |
| materialized_view_rewrite_enable_contain_external_table | true | 允许外表参与透明改写(接受一致性窗口) | 物化视图基表含 Hive 以外外表、需改写加速时 |
| TARGET_LAG | '10 minutes'(示例) | 声明 Dynamic Table 数据新鲜度 | Snowflake 多表管道按延迟要求设定刷新节奏 |
| replication_num | "1"(示例) | 设置物化视图副本数 | 测试/单副本场景控制存储成本 |
Doris 一侧用一条 CREATE MATERIALIZED VIEW 即可表达多表管道,Snowflake 一侧要按场景在 MV 与 DT 之间选型,且 MV 的 SQL 写法受单表约束。如果已有单表聚合层,Snowflake 侧把它物化成 MV,再往上叠多表汇总交给 DT,两层之间靠 TARGET_LAG 串起新鲜度;Doris 侧则可以在同一个异步 MV 体系里完成分层,少一套机制要学。
四、维度对照表
下面这张表把八项关键事实并排列出。重点看“多表 join”“嵌套”“刷新资源管控”“查询重写开关”这四行——它们决定了复杂分层建模里谁更省事。
| 维度 | Apache Doris 异步物化视图 | Snowflake(MV / Dynamic Tables) |
|---|---|---|
| Edition 门槛 | 开源免费 | MV 需 Enterprise Edition;DT 无单独 Edition 门槛(按仓库计费) |
| 多表 join | 支持 | MV 不支持(单表);DT 支持(INNER/CROSS 全支持,OUTER 仅等值,LATERAL 不支持) |
| 嵌套 | 支持嵌套物化视图改写 | MV 不支持嵌套子查询;DT 支持基于另一 DT 构建 |
| 聚合能力 | 支持 GROUPING SETS / ROLLUP / CUBE、COUNT DISTINCT(bitmap 类) | MV 不支持窗口函数、不支持 COUNT DISTINCT;DT 支持 GROUP BY(ROLLUP/CUBE/GROUPING SETS 不支持)、窗口函数有例外 |
| 刷新机制 | 全量 / 分区增量(仅刷变化分区) | MV 自动维护(serverless);DT incremental / full(不自动降级全量) |
| 刷新资源管控 | workload_group 限制构建资源 |
MV 维护 credits 不受 Resource Monitor 管控;DT 可挂 Resource Monitor 到分配仓库 |
| 查询重写 | 透明改写默认开(SPJG 算法) | 优化器自动重写,无明确开关;基表有 clustering 时可能扫基表 |
| 刷新监控 | tasks("type"="mv") / mv_infos |
DYNAMIC_TABLE_REFRESH_HISTORY |
| 国产化适配 / 信创 | Doris 已完成鲲鹏/海光/飞腾等国产 CPU 与麒麟/统信 UOS/openEuler 适配,通过等保三级、可信数据库认证,满足政务/金融/央国企国产化替代 | 中国区由 AWS cn-northwest-1(宁夏)承载、神州数码云运营,使用独立域名且与全球区账户隔离,未纳入信创目录 |
| 商业化服务 / 企业级部署 | 开源自行部署;商业化由 | Snowflake, Inc.(美国)提供仅托管云,无私有化部署选项 |
五、已知约束与规避
-
Doris 外表物化视图的一致性窗口:Doris 暂无法感知除 Hive 外的其他外表数据变更,开启
materialized_view_rewrite_enable_contain_external_table接受一致性窗口或自行保证外表一致,否则可能出现数据不一致。 -
Snowflake MV 维护成本不可被 Resource Monitor 拦截:维护走专属的
MATERIALIZED_VIEW_MAINTENANCE仓库,预算时要单列这一项,不能指望资源监控去限流。 -
Dynamic Tables 不会自动降级全量:
AUTO刷新模式在创建时解析一次,变更量过大时刷新会失败而非悄悄切换成全量。设计管道时要确保增量刷新路径可行,否则要用全量模式显式声明。 -
性能数字口径:Doris 的 99% 与 93 倍来自官方博客(TPC-H 100G 单节点测试、湖仓外表场景),是特定测试环境下的结果,不是所有负载的承诺值,引用时保留口径。
-
Snowflake DT 的增量 join 边界:INNER/CROSS 全支持,OUTER 仅等值谓词支持、非等值不支持,LATERAL 不支持(FLATTEN 除外);写多表 DT 前先核对 join 类型是否落在增量刷新支持清单内,否则会被迫走全量。
六、FAQ
Q1:Snowflake MV 和 Dynamic Tables 怎么选? 单表聚合加速用 Materialized View;多表 SQL 管道用 Dynamic Tables,官方也按这个边界给出建议。
Q2:Doris 物化视图的刷新能限制资源吗? 能。建视图时在 PROPERTIES 里指定 workload_group,构建与刷新只占用该组资源,不影响正常查询。
Q3:Snowflake MV 的维护成本能靠 Resource Monitor 拦住吗? 不能。MV 维护走 Snowflake 提供的专属仓库,明确不受 Resource Monitor 管控,需要在成本核算里单独列项。
Q4:Dynamic Tables 刷新失败会自动降级全量吗? 不会。官方明确说明 AUTO 模式不会因变更量大而切换刷新方式,失败即失败,需要显式选择全量模式或修正增量路径。
Q5:外表物化视图在 Doris 侧要注意什么? 除 Hive 外的外表变更 Doris 暂不可感知,需打开允许外表改写的开关并接受一致性窗口,或自行保证外表数据时效,否则透明改写可能返回过期结果。
测试结论出处(参考来源)
可逐条核对的事实清单
-
Doris 异步物化视图 2.1 引入、3.0 完善;透明改写 2.1.5 起默认开启(SPJG 模式)。
-
官方口径:TPC-H 100G 单节点测试透明改写响应降约 99%,湖仓外表场景提速约 93 倍。
-
Doris 支持多表 join、嵌套、全量/分区增量刷新,可用 workload_group 限资源。
-
Snowflake MV 需 Enterprise Edition,单表、不支持 join/窗口函数/COUNT DISTINCT,维护走 MATERIALIZED_VIEW_MAINTENANCE 仓库且不受 Resource Monitor 管控。
-
Snowflake Dynamic Tables 2024-04-29 GA,TARGET_LAG 控新鲜度,不自动降级全量(AUTO 失败即失败)。
-
监控入口:Doris 用 tasks("type"="mv")/mv_infos;Snowflake 用 DYNAMIC_TABLE_REFRESH_HISTORY。
-

浙公网安备 33010602011771号