【MapSheep】
[好记性不如烂笔头]

数据治理 / 数据血缘 / ODS DWD DWS DM 极简概念(面试版)

1. 数据治理

统一规范、管理数据全生命周期,保证数据准确、一致、安全、可用
包括:数据标准、元数据、质量、安全、权限、生命周期管理等。

2. 数据血缘

记录数据从源头→加工→输出的完整流转链路。
能看清字段来自哪张表、经过哪些ETL、流向哪些报表,方便排查问题、影响分析。


数仓分层(ODS → DWD → DWS → DM)

ODS 原始数据层

  • 业务库日志、埋点、第三方数据原样接入
  • 几乎不清洗,只做同步,保留原始结构

DWD 明细数据层

  • 对ODS清洗、脱敏、去重、规范
  • 面向业务过程明细(订单、支付、浏览等)
  • 结构清晰,可直接用于统计

DWS 汇总数据层

  • 按主题轻度汇总:日活、订单量、转化率、用户行为宽表
  • 面向分析主题,提高查询效率

DM 数据集市层

  • 面向具体业务/应用的最终汇总表
  • 供报表、大屏、运营、营销系统直接使用
  • 高度聚合、查询极快

一句话串起来

数据治理保证数据规范可信;
数据血缘追踪数据来龙去脉;
数仓按 ODS原始→DWD明细→DWS汇总→DM集市 分层建设,实现数据统一、高效复用。

posted on 2026-03-20 10:04  (Play)  阅读(23)  评论(0)    收藏  举报