元数据管理

什么是元数据

　　简单来讲就是用来描述数据的数据

为什么要元数据管理　

1. 数据的参考框架
2. 解决数据模糊性
3. 可视化数据流动
4. 影响和血缘分析
5. 推进标准化建设
6. 规范化数据审计

　普通应用系统为什么不需要元数据管理?

• 表的数量少
• 数据加工简单
• 数据来源单一
• 访问方式单一
• 交钥匙的应用   

　数据仓库为什么必须元数据管理?

• 上下游系统多
• 变更频繁
• 数据加工复杂
• 用户访问方式复杂
• 维护周期长

比如：

某银行的DW数据举例:上游系统60个,下游系统20多个,仓库内部的表12000多个,运行的ETL任务6000多个,每个月都有新版本上线

数据质量问题成因鱼骨图分析

元数据管理的建设目标

• 建立数据仓库系统元模型，规范数据处理过程的结构化描述，实现不同来源数据的元数据统一维护管理
• 实现数据仓库系统各层之间元数据定义与互通，促进数据处理过程规范化
• 实现数据抽取、加载、加工、调度的元数据管理，扩充元数据服务接口
• 提供完善的元数据管理维护机制，适应各业务系统频繁改造
• 元数据管理为数据质量管理提供基础支撑，促进数据质量标准管理

元数据管理的范围

技术元数据

• 描述系统中技术领域相关概念、关系和规则的数据，主要包括对数据结构、数据处理方面的特征描述，覆盖系统数据源接口、数据仓库与数据集市存储、ETL、OLAP、数据封装和前端展现等全部数据处理环节

业务元数据

• 描述系统中业务领域相关概念、关系和规则的数据，主要包括业务术语、信息分类、指标定义和业务规则等信息

管理元数据

• 描述系统中管理领域相关概念、关系和规则的数据，主要包括人员角色、岗位职责和管理流程等信息