目录
数据治理 / 数据血缘 / ODS DWD DWS DM 极简概念(面试版)
1. 数据治理
统一规范、管理数据全生命周期,保证数据准确、一致、安全、可用。
包括:数据标准、元数据、质量、安全、权限、生命周期管理等。
2. 数据血缘
记录数据从源头→加工→输出的完整流转链路。
能看清字段来自哪张表、经过哪些ETL、流向哪些报表,方便排查问题、影响分析。
数仓分层(ODS → DWD → DWS → DM)
ODS 原始数据层
- 业务库日志、埋点、第三方数据原样接入
- 几乎不清洗,只做同步,保留原始结构
DWD 明细数据层
- 对ODS清洗、脱敏、去重、规范
- 面向业务过程明细(订单、支付、浏览等)
- 结构清晰,可直接用于统计
DWS 汇总数据层
- 按主题轻度汇总:日活、订单量、转化率、用户行为宽表
- 面向分析主题,提高查询效率
DM 数据集市层
- 面向具体业务/应用的最终汇总表
- 供报表、大屏、运营、营销系统直接使用
- 高度聚合、查询极快
一句话串起来
数据治理保证数据规范可信;
数据血缘追踪数据来龙去脉;
数仓按 ODS原始→DWD明细→DWS汇总→DM集市 分层建设,实现数据统一、高效复用。
浙公网安备 33010602011771号