数据治理--相关术语解析

1.数据治理：对数据进行管理的一系列活动集合，通过建立组织、制度、流程，实现数据的可信、安全、可用，支撑业务价值实现。

解析：数据治理≠技术工具，是业务 + IT 共同工作；不是一次性项目，是持续运营。解决 “谁管数据、怎么管、数据要达到什么水平”。

2.数据要素：可参与生产经营活动的数据资源，具备资源、资产属性。

解析：2.0 版 DCMM 重点强调，数据不再只是附属产物，可以作为组织的一类资源 / 资产。

3.数据治理规范：包含管理办法、流程制度、技术规范三类文档，规定数据相关权责、流程、技术要求。

解析：

• 管理类：数据治理管理办法；
• 流程类：主数据申请审批流程；
• 技术类：数据标准规范、元数据规范。

4.元数据：描述数据的数据，描述数据来源、结构、关系、业务含义、存储位置、更新频率等信息。分为三类：技术元数据、业务元数据、操作元数据。

解析：

• 技术元数据：描述数据的物理形态，比如数据库表名、字段名、字段长度、字段类型、是否主键等；
• 业务元数据：描述数据的业务含义，比如字段中文含义、业务规则、值域说明；
• 操作元数据：描述数据的行政信息，比如更新时间、访问次数；

5.数据血缘：描述数据从源头经过采集、转换、加工，流转到目标的链路关系。

解析：用来追溯：报表数据来自哪张源表；出问题可以定位上游源头。

6.数据元：描述一个业务概念的数据单元，包含名称、定义、数据类型、值域。

解析：例如 “物料编码”“项目编号”，是数据标准最小单元

7.数据标准：统一组织内数据元、编码、值域、格式的规范集合。分为业务标准、技术标准。

解析：解决多系统口径不一致；

8.参考数据：一组可复用的有限取值集合，例如物料类型、密级、项目状态。

解析：固定字典值，各系统必须统一复用一套字典。

9.主数据：描述核心业务实体，跨业务系统共享、高频复用的基础数据。典型：物料、设备、科研项目、人员。

GB/T 44109数据治理实施指南：组织中需要跨系统、跨部门进行共享的核心业务实体数据。

解析：主数据是企业 / 研究所的 “基础档案”；特点：相对稳定、跨系统共用；MDM 主数据管理平台用来统一维护、分发主数据。

区分：主数据（稳定基础档案） vs 业务交易数据（试验记录、质量单据，高频变化）。

10.数据质量：国标 GB/T36344‑2018 六大指标：完整性、准确性、一致性、时效性、规范性、可访问性。

解析：

• 完整性：字段不缺失；
• 准确性：值符合真实业务；
• 一致性：跨系统同一实体信息一致；
• 时效性：数据及时更新；
• 规范性：符合标准格式、值域；
• 可访问性：有权限的人可以获取。

10.数据质量规则：针对数据对象配置的校验逻辑，用于识别脏数据。

11.脏数据：不符合数据质量规则的数据：缺失、重复、错误、不可用。

解析：

• 数据缺失：缺一些记录，或者一条记录里缺一些值（空值），或者两者都缺。原因可能有很多种，系统导致的或人为导致的可能性都存在。如果有空值，为了不影响分析的准确性，要么不将空值纳入分析范围，要么进行补值。前者会减少分析的样本量，后者需要根据分析的计算逻辑，选择用平均数、零、或者等比例随机数等来填补。如果是缺一些记录，若业务系统中还有这些记录，则通过系统再次导入，若业务系统也没有这些记录了，只能手工补录或者放弃。
• 数据重复：相同的记录出现多条，这种情况相对好处理，去掉重复记录即可。但是怕就怕不完全重复，比如两条会员记录，其余值都一样，就是住址不一样，这就麻烦了，有时间属性的还能判断以新值为准，没有时间属性的就无从下手了，只能人工判断处理。
• 数据错误：数据没有严格按照规范记录。比如异常值，价格区间明明是100以内，偏偏有价格=200的记录；比如格式错误，日期格式录成了字符串；比如数据不统一，有的记录叫北京，有的叫BJ，有的叫beijing。对于异常值，可以通过区间限定来发现并排除；对于格式错误，需要从系统级别找原因；对于数据不统一，系统无能为力，因为它并不是真正的“错误”，系统并不知道BJ和beijing是同一事物，只能人工干预，做一张清洗规则表，给出匹配关系，第一列是原始值，第二列是清洗值，用规则表去关联原始表，用清洗值做分析，再好一些的通过近似值算法自动发现可能不统一的数据。
• 数据不可用：数据正确，但不可用。比如地址写成“北京海淀中关村”，想分析“区”级别的区域时还要把“海淀”拆出来才能用。这种情况最好从源头解决，即数据治理。事后补救只能通过关键词匹配，且不一定能全部解决。

12.数据仓库：面向主题的、集成的、相对稳定的、反映历史变化的数据集合，汇集多个业务系统数据，经过抽取‑转换‑加载（ETL），存储历史、集成、统一口径数据，用于报表、多维分析、管理决策的存储加工体系。

13.数仓标准分层（ODS‑DWD‑DIM‑DWS‑ADS）

分层目的：职责解耦、血缘可追溯、逻辑复用、问题快速定位，是数仓治理落地载体。

（1）ODS 贴源层

定义：源系统数据镜像，表结构尽量和源系统保持一致，几乎不做业务逻辑加工。 解析：原始数据快照；分担业务库压力；作为整条加工链路统一起点；保留原始便于问题回溯。

注意：ODS 不做清洗，脏数据原样带入。

（2）DWD 明细层

定义：ODS 数据经过清洗、去重、空值处理、编码映射、标准化，产出干净、标准、最细粒度明细事实数据

解析：数据治理最核心一层；完成主数据编码统一、值域标准化、脏数据打标过滤；全仓唯一可信明细源，下游原则上不再读取 ODS。

（3）DIM 维度层（维度表）

定义：描述业务实体属性的静态 / 慢变数据表，例如物料维度、项目维度、组织机构维度、时间维度。

解析：维度表 + 事实表 = 星型模型。事实表存事件度量，维度表存描述属性。主数据、参考数据通常落地为维度表。

（4）DWS 汇总层

定义：基于 DWD 明细，按业务主题做预聚合，产出公共宽表、公共指标。

解析：把高频统计预先算好，避免下游重复计算；提升报表查询性能；沉淀公共业务指标。例：项目月度质量汇总、物料消耗月度汇总。

（5）ADS 应用层

定义：面向具体业务应用输出，报表、大屏、API 数据集。

解析：不做大的聚合，大多从 DWS 取数做裁剪重组；一个报表 / 应用对应一套 ADS；ADS 不允许被其他 ADS 依赖，避免链路混乱。

13.数据全生命周期

定义：数据从产生开始，历经采集、存储、使用、共享、归档直至销毁的完整生命过程。