[数据管理] 主数据管理实践白皮书(v2.0)

0 序

0.0 序

  • 主数据在大数据-数据治理与管理工作中的地位：
  • 主数据是数据之源，是数据资产管理的核心，是信息系统互联互通的基石，是信息化和数字化的重要基础。
  • 主数据管理是一系列规则、应用和技术，用以协调和管理与企业的核心业务实体相关的系统记录数据。主数据管理重要性是消除数据冗余；提升数据处理效率；提高公司战略协同力。
  • 在数据资产管理的领域里，主数据的管理是最为基础的部分，因为主数据是可以跨业务、跨组织、跨系统被重复利用的数据，通过构建准确、唯一、权威的数据来源建立企业主数据标准管理体系，是提高企事业单位数据质量和数据资产价值的关键因素。
  • 主数据是指运营企业所需的所有关键数据。这些数据可以是描述人员，如客户、员工和供应商，也可以是描述业务地点，如办公室和其他场所，或者描述其他事物，如产品和资产。通常，主数据在所有业务数据中仅占较小比例，但却是企业最复杂且最宝贵的数据之一。

以华为公司为例，华为公司的主数据范围包括：产品、客户、供应商、组织、人员5大主数据主题。《华为数据之道》

【产品主数据】：产品主数据涵盖了产品的各种属性，如产品编号、类别、价格、功能、物料清单和其他所有必要的数据点等。鉴于销售、营销、供应链和产品开发生命周期等流程均需使用这些数据，因此企业必须确保这些数据准确可靠。

【客户主数据】：顾名思义，客户主数据是指与客户开展业务所需的所有核心数据，如客户联系信息、购买记录和付款条款。该领域的主数据管理包括清理和规范 ERP、CRM 及其他系统内的数据。
  例如，同一客户的名字和地址可能同时存储在 ERP系统 和 CRM 系统中，但采用了两种不同的方式录入，如 1030 Sandy Court、1030 Sandy Crt. 或 1030 Sandy Ct。MDM 的作用是协调这些差异，针对每位客户打造统一的视图，帮助开展个性化营销活动、提供更优质的体验等。在某些企业，客户主数据还包括员工、医疗患者和供应商的数据。

【供应商主数据】：供应商主数据包括供应商帐户、合同、政策、定价等数据。这些数据是所有重要采购活动的核心，比如计划、寻源、签约和采购等。经过清理且真实可靠的供应商主数据至关重要，可以用来回答有关供应商支出、定价或绩效等的问题。

【位置主数据】：企业位置数据包含与机构、企业办公室、分销中心和门店等的实际位置相关的关键属性。这些信息与其他数据域建立联系后，将能帮助企业制定基于位置的决策，比如，为特定门店确定合适的产品组合。

【资产主数据】：资产主数据描述了企业的固定资产和无形资产，如库存、设备和商标。此类数据通常包括折旧年限和价值、资产类别、租赁信息等。如果资产主数据不准确，将会降低资产利用率和管理水平。例如，预测性维护流程需要使用设备主数据，如果数据有误，预测也会不准确。

  • 2018年12月，中国通信标准化协会大数据技术标准推进委员会(CCSA TC601)编制发布了《主数据管理实践白皮书（1.0）》，对主数据管理的内涵、特点、实践案例进行了研究和总结，在业界得到了传播和认可。

  • 2023年12月，CCSA TC601 工作组更新编制了《主数据管理实践白皮书（2.0）》版本，进一步对主数据管理的管理模式、管理策略、成功要素、发展趋势进行了更深入的研究和提炼。

  • 本章第1至5章节，属于白皮书原文内容，基本无改动。

0.1 封面

  • 发布机构：中国通信标准化协会-大数据技术标准推进委员会

CCSA TC601大数据技术标准推进委员会

  • 发布时间：2023.12

0.2 版权声明

0.3 编写作者

  • 牵头编写单位：中国信息通信研究院云计算与大数据研究所

  • 参与编写单位：中电金信软件（上海）有限公司、海尔集团公司、中国联合网络通信集团有限公司、联通数字科技有限 公司、中国电信集团有限公司、中国移动信息技术中心、中移 动信息技术公司、平安银行股份有限公司、中信建投证券股份 有限公司、浩鲸云计算科技股份有限公司、浙江数新网络有限 公司、上海浦东发展银行股份有限公司、普元信息技术股份有 限公司、湖北数据集团有限公司、北京东方金信科技股份有限 公司、中数（深圳）时代科技有限公司、北京科杰科技有限公 司、北京亿信华辰软件有限责任公司

  • 编 写 组 成 员 ： 姜 春 宇 、 王 妙 琼 、 阚 鑫 禹 、 王 宇 龙 、 周 京 晶、张一鸣、张娇婷、刘思达、周圣文、苗峰、刘青青、郭 锐、狄秋燕、朱瑞、郝猛、王海鑫、王冀彬、陈卓、胡清源、 刘宇、华桊兴、项子林、赵亮、许立芳、刘树国、覃国权、刘 芬、段玉、宋文顶、朱颖、王诗岸、李书超、马一骁、夏天 翔、石棋玲、楚鑫、于海宁、马超、朱建勇、贾光锋、江梦珂 特别感谢来自山东创恩信息科技股份有限公司、中国建设 银行股份有限公司、中国标准化研究院、昆仑数智科技有限责 任公司、华夏银行股份有限公司、北京安达维尔科信息技术有 限公司、中国航空发动机研究院等的专家吕英胜、杨泽华、车 春雷、王志强、冯霈、刘洋、王刚、王浦、常卓君、杨子政、 王粲、吴超、张晓刚等对本白皮书编写工作的支持

0.4 目录

0.5 前言

2018年12月中国通信标准化协会大数据技术标准推进委员 会 C C S A T C 6 0 1 编 制 发 布 了 《 主 数 据 管 理 实 践 白 皮 书 （1.0）》，对主数据管理的内涵、特点、实践案例进行了研究 和 总 结 ， 在 业 界 得 到 了 传 播 和 认 可 。 2 0 2 3 年 1 2 月 ， C C S A TC601更新编制了《主数据管理实践白皮书（2.0）》版本， 进一步对主数据管理的管理模式、管理策略、成功要素、发展 趋势进行了更深入的研究和提炼。 

**主数据**是对**组织核心业务实体状态**的反映 ，具有全局性、 共享性、稳定性等特点，可以进行跨系统、跨流程、跨部门的 共享复用。过去的5年时间里，业界对主数据的探讨和实践十分 活跃，普遍将主数据视作组织的核心数据资产，并将主数据管 理作为企业数据管理体系的重要一环。未来，CCSA TC601将 持续开展主数据管理的研究工作，适时修订发布新的白皮书版 本。

1 主数据管理概述

1.1 （一）什么是主数据

1、主数据定义

主数据（Master Data, MD）指满足组织跨部门业务协同需要的、反映核心业务实体状态属性的基础信息。

主数据具有以下特征：

  • （1）跨越部门：主数据是满足跨部门业务协同需要的，是各个部门在开展业务过程中都需要的数据，是所有部门及其业务过程的“最大公约数据”；
  • （2）跨越业务：主数据是跨越了业务界限，在多个业务领域中被广泛使用的数据，其核心属性也是来自业务；
  • （3）跨越流程：主数据不依赖于某个具体的业务流程，但却是主要业务流程都需要的。主数据的核心是反映对象的状态属性，它不随某个具体流程而发生改变，而是作为其完整流程的不变要素；
  • （4）跨越系统：主数据是多个系统之间的共享数据，是应用系统建设的基础，同时也是数据分析系统重要的分析对象，主数据系统服务于但是高于其它业务系统；
  • （5）跨越技术：由于主数据要满足跨部门的业务协同，因而必须适应采用不同技术规范的不同业务系统，所以主数据必须应用一种能够为各类异构系统所兼容的技术条件。
    主数据不是组织内所有的数据，只是有必要在各个系统间共享的数据才是主数据，例如大部分的交易数据、帐单数据等都不是主数据，而像描述核心业务实体的数据，如客户、供应商、帐户、组织机构、人员、物料的基本信息等都是主数据。主数据是组织内能够跨业务重复使用的高价值的数据。主数据在进行统一管理之前经常存在于多个异构或同构的系统中。

2、主数据的特点

主数据的特点主要包括：权威性、全局性、共享性、稳定性、长期性、扩展性、高价值性。

  • （1）权威性：主数据是经过跨部门业务协同和组织机构的基础信息整合而成的，具有最高的数据质量要求，通常由一个权威部门或机构进行维护和管理。主数据实体要求具有唯一的数据识别，即主数据编码。
  • （2）全局性：主数据是反映核心业务实体状态属性的数据，其覆盖范围广泛，涉及到组织的各个业务部门和业务流程。
  • （3）共享性：主数据可以在组织范围内被重复使用，无需进行重复存储和冗余维护，从而避免数据不一致和冗余等问题。
  • （4）稳定性：主数据描述操作对象的关键信息，业务过程中识别的信息和关键特征，会被业务过程中产生的数据继承、引用、复制。但是，除非该主数据的基本特征发生改变，否则主数据不会随着业务的改变而改变。
  • （5）长期性：主数据通常贯穿于业务对象的整个生命周期，甚至更长。换言之，只要主数据代表的业务对象存在，或者仍然有意义，则该主数据需要在系统中继续存在，保持其有效性。
  • （6）扩展性：主数据可以随着组织业务的发展和变化而进行扩展和调整，具有良好的适应性和可扩展性。
  • （7）高价值性：主数据具有很高的价值，首先通过主数据达成了系统之间的信息对称，同时也是组织进行决策和分析的重要依据和基础。

1.2 （二）什么是主数据管理

1、主数据管理的定义

主数据管理(Master Data Management, MDM)是一系列规则、应用和技术，用以协调和管理与组织核心业务实体相关的系统记录数据。

通过主数据管理，主数据从应用和流程中独立出来，并且将组织的主数据呈现为一系列可重用的服务。组织将由此获得共享的、完整的、准确的主数据。主数据管理在保证最高水平的数据质量和标准化的前提下，实现了数据在不同数据库之间进行传输和同步的自动化，以及在使用这些数据的不同应用系统之间传输和同步的自动化。

2、主数据管理的范围

主数据的特征决定了可以从不同维度认识主数据管理的范围。
首先，从应用范围来讲，主数据的应用涵盖了事务处理、业务经营和数据分析有关的系统范畴，从源头到终端再回到源头的一个闭环反馈系统，主数据管理系统需要为各业务系统提供标准的、统一的数据服务；
其次，从流程范围来讲，主数据管理要覆盖数据的申请、校验、审核、发布、维护、变更、停用等环节，要实现全生命周期管理；
第三，从管控范围来讲，主数据管理通过对组织、流程、绩效考核、数据标准、系统应用的整体设计，形成一套体系化的管理模式，以建立起主数据管理的长效机制。

1.3 （三）主数据管理的意义

1、主数据管理的核心价值

  • 主数据首要是用于多系统集成应用的，也是多系统集成应用时的刚需，对跨系统的业务处理过程，通过对主数据的管理，各系统对同一业务实体数据的认识是一致的，从而达成信息对称/信息一致性，支撑业务完整过程的多个系统的功能被集成为有机的整体，这是主数据的核心价值，也是主数据概念出现的本质原因，亦是主数据管理的目标。

  • 主数据在标准化的基础上实现唯一化，通过主数据的唯一性保障在各系统之间基础数据的一致性，并且能够被各系统在交互数据时直接使用，无需额外维护映射表（字段）和进行翻译等处理，为此主数据必须做到“一实体一编码”，如一物一码、一客（商）一码、一人一码等。

2、主数据管理的作用

主数据是组织的重要资产之一，具有极高的价值。实施有效的主数据管理不仅可以提升组织的业务经营效率，增强决策能力，还能够加强数据整体的管理水平，以下列举了三点关于主数据管理的作用。

  • （1）降低信息交互成本
    通过统一的主数据管理机制，为所有信息的交互和集成提供统一的编码数据，确保在异构系统之间协同业务处理的每个阶段编码信息的一致性，可以降低信息核对的成本，避免因为基础数据的多样导致的信息核对、汇总、统计的失误和错误。同时也可以为决策支持和数据分析提供准确的数据源，提高决策的科学性和有效性。

1.4 （四）主数据和其他数据的关系

数据可以按照多种维度划分为多种类别，而对主数据而言，与其关系密切或易产生混淆的数据主要有元数据、明细数据和参考数据三类。

1、主数据和元数据

  • 元数据
    元数据是关于数据的描述性信息，它扮演着数据管理中的关键角色，提供关于数据的定义、结构、来源、格式等方面的详细说明。
    元数据旨在帮助人们更好地理解、管理和使用数据，充当了数据的“数据说明书”。

  • 主数据
    相比元数据，主数据是组织中广泛使用的关键业务数据，如客户、产品、供应商等。
    主数据包含实际的业务实体信息，是业务活动和决策的基础。元数据与主数据之间的关系密切，因为元数据可以描述主数据的各种属性，包括数据的名称、类型、来源、创建日期等。通过元数据，我们可以更好地理解主数据，确保主数据的一致性和准确性。
    主数据是业务数据的重要组成部分，而元数据则提供了关于主数据的背景和主题，共同为组织提供了更好的数据理解和利用的基础。
    这种相辅相成的关系使得组织能够更有效地管理和运用其关键业务数据。

2、主数据和明细数据

主数据和明细数据之间的关系主要在于静态和动态的关系，可以看作是名词和动词关系。
主数据捕获的是名词，例如“物品中文名称”或“企业注册资金”，它们是相对稳定的，静止不变或者是一段时间内静止不变的数据。
而明细数据捕获的是动词，例如物流运输数据或传感器数据，它们是实时变化的数据，往往描述的是某一个时间点所发生的事务行为，如客户订单、存货跟踪、销售记录、售后事件等

3、主数据和参考数据

  • 从定义上看:
  • 主数据是代表业务对象的数据，由关键业务实体组成，主数据包含了整个组织共享的最有价值的信息；而参考数据是定义其他数据字段使用的一组允许值的数据，包含了附加的文本描述，更多的像是数据字典。

（可理解为：企业级的、内部统一定义的数据字典（全公司统一定义、全公司唯一定义的数据字典））

  • 从范围上看:
  • 参考数据是主数据的一种特殊子集。主数据与参考数据都是为了业务数据的创建和使用提供重要的上下文语境信息，同时参考数据又为主数据提供上下文，以便用户理解数据的含义。两者在组织运营过程中均塑造了进入组织的业务数据，而且两者都是组织层面的共享资源。(本白皮书观点)
  • DAMA数据管理知识体系指南一书中对参考数据的定义是指“可用于描述或分类其他数据，或者将数据与组织外部的信息联系起来的任何数据”。这个定义可以说是比较抽象，简单来说就是维度数据，大家平时理解的数据字典，该类型的数据的主要作用是用来增强对数据的可读性和解释性，比如汇率、税率、状态编码、性别、产品维表、地理信息等维度数据。由此可见，参数数据的来源可能是内部产生或者外部手动采集获取到的，比如：国际标准编码、行业标准。(《DAMA数据管理知识体系指南》)
  • 华为公司为例，将结构化数据划分为：基础数据(参考数据)、主数据、事务数据、观测数据、规则数据、报告数据。（换言之，将参考数据独立于主数据之外） 《华为数据之道》

X、小结

元数据、主数据、交易数据/明细数据/事务数据

元数据、主数据、参考数据

元数据、参考数据、主数据、一般数据

主数据、参考数据、交易数据/明细数据/事务数据

2 各行业主数据管理实践

2.1 （一）装备制造行业主数据管理

装备制造是指处于价值链高端和产业链核心环节，并决定着整个产业链综合竞争力的关键设备的制造。装备制造具有技术密集、资金密集、附加值高、成长空间大、带动作用强等突出特点。装备制造业在数据管理方面起步较晚，但其主数据管理形式有着鲜明的特点，装备制造业主数据管理对象通常包括通用类、人资类、客商类和物料类，其中物料类主数据最为重要，通常包含了材料、标准件、零组件等产品组成资源，贯穿于产品生产制造的全生命周期过程。

  • 从连续型制造业务线条来看，单一企业的主数据分布在设计、工艺、生产过程中的多个业务部门中，在众多异构系统中使用，主数据本身具备多学科的特点，并且与生产制造的衔接过程存在着紧密的联系。为了充分支持生产制造业务的进行，主数据通常需要集成到PDM、CAPP、MES、ERP等多个业务系统，通过主数据的有效流通实现各生产环节的顺畅衔接。

  • 从离散型制造业务线条来看，多业态集团企业的主数据管理多呈现出两级的形态，主要特点为集团主数据系统两级部署、集团主数据集中管控和成员单位多方接入，通过集团主数据的统一标准、统一编码、统一管理、统一发布，支撑主数据两级应用模式：一套模型（标准）+一套主数据（集团与交互系统）+多方接入（集团总部及各单位）。集团和成员单位之间通过两级应用模式，实现集团对主数据及模型统一管理，保证集团管辖类主数据、主数据标准在集团范围内的一致性，为数据共享和应用夯实数据基础，同时也允许成员单位对集团管辖范围外的主数据进行自管。

2.2（二）能源化工行业主数据管理

  • 能源化工是指利用石油、天然气和煤等基础能源资源，通过化学过程制备二次能源和化工产品的过程；主要包括：石油化工、天然气化工和煤化工等。

  • 能源化工产业链的上游主要是以天然气、煤炭、石油等能源为原料能源的开采和运输，中游主要是化学反应和产品加工，下游则是产品的销售和使用。为了提高能源使用效率，提升产品价值，大型能源化工企业通常为多业态集团。

  • 在强管控模式下，集团会制定统一的主数据标准规范，并要求下属企业按照规范执行并上报数据。集团拥有对各下属企业的主数据管理权限，并进行集中管控。这种模式有利于保证数据的规范性和一致性，同时能够更好地进行数据的安全性和隐私保护。主数据是支持集团财务、人力资源和供应链【集中管理】的基础。

  • 在弱管控模式下，集团一般只做财务合并，对下属企业的【人财物】、【产供销】不做干预。因此，这种模式下，集团会将数据权限下放到各下属企业，让它们建立不同的属地业务系统进行数据管理。对于主数据标准，集团可能会制定统一的会计科目规范，但不会制定人力资源和供应链管理的主数据规范。各下属企业可以根据自己的业务需求和实际情况，自主决定数据的管理方式和格式。

  • 能源化工行业的产业链很长，涵盖工程建设、能源开采、炼化、精细化工等业态，所以主数据建设的周期也相对较长。能源化工企业典型的价值链是原料采购、生产加工和成品销售。能源化工企业的原料进厂、生产加工和成品出厂的节奏很快，对物流、生产的效率要求高，物流与生产的自动化、智能化程度越来越高。企业关注的主数据对象通常有通用基础类、财务类、单位类、物料类、物料分配类等。

2.3（三）金融行业主数据管理

  • 金融行业的主数据管理是在“以客户为中心”的经营理念驱动下，起步于客户信息管理系统（ECIF系统），并以此为基础逐步拓展、并构建了机构、产品、渠道等主数据管理能力。客户主数据管理依托ECIF系统实现了集中式的管理架构，形成了以ECIF为中心、各业务系统为渠道的主副本架构，渠道系统负责采集数据，ECIF统一集成，实时广播，用数业务系统订阅广播信息，实时同步数据。

  • 得益于较为完善的数据管理体系，金融业在主数据管理和应用过程中具有较为充分的组织保障和资源保障，主数据的质量管理、安全管理和分析应用能力较强，同时可以较为彻底对源头业务系统进行改造升级，并做好全局的系统对接，确保主数据上下游一致贯通。

  • 在 拓 展 主 数 据 对 象 的 过 程 中 ， 金融业企业借助企业级数据模型的 建 设 成 果 和 行 业 实 践 经 验 ， 可 以 参 考 企 业 级 数 据 模 型 的主题域划分和逻辑数据模型建设成果，有效指导主数据对象的识别和主数据标准制定。以证券期货业JR/T 0176.3—2021标准将证券公司逻辑模型数据域划分为例，包括主体、账户、品种、交易、资产、合同、渠道、营销八个数据域。其中，主体数据域是证券公司开展客户关系管理、进行客户画像和标签管理、建设以客户为中心的应用系统的重要基础性模型。根据证券公司实际业务过程特征、数据分布、完整性、一致性等方面将主体归纳、抽象为用户、客户、内部组织与其他外部组织四大类，可作为主数据对象。

2.4（四）通信行业主数据管理

  • 通信行业主数据覆盖网络设备、客户和订购信息、电信产品与服务、网络拓扑等领域，是业务应用系统和系统间交互的重要基础。按照主数据对象的稳定性、业务影响程度、共享调用频率等因素，采取了注册、审批和报备等主数据管理方法。通信行业的主数据对象通常具有长期稳定性和唯一性，将主数据作为信息系统互联互通的重要基础，跨越管理支撑域（MSS）、业务支撑域（BSS）、运营支撑域（OSS）各域并在多业务电信业务流程中共享应用，在整个业务价值链上不断复用并对运营决策过程产生重大影响。

  • 当前，通信企业将主数据管理作为业务运营工作的重要内容，正在积极通过数据治理工作释放主数据潜在价值，将分散在B、M、O域多个系统中的主数据进行整合，破除跨域壁垒。通信企业普遍发布了主数据管理办法对主数据新增、变更、调用等流程进行规范，发布主数据标准推动主数据在企业范围内保持统一。通信企业普遍具备较强的数据质量管理、数据分析应用、数据运营管控能力，对主数据流转、调用、质量等情况进行常态化管理和评价。通信企业定期开展主数据稽核工作并进行通报，对主数据总量、新增量、调用系统数量等情况进行汇总统计，对主数据的规范性、完整性、准确性、一致性等数据质量进行【考核评价】。通信企业的主数据管理在客户服务、物资管理、网络优化、网格管理等方面发挥着积极作用。

2.5（五）地产行业主数据管理

  • 地产行业的主数据管理特点呈现出多元化的数据种类，庞大的数据量和复杂的数据质量管理挑战。从客户、楼盘、供应商到员工，各类信息交织复杂，需要综合考虑业务流程、市场竞争等多方面需求。不论是普通典型的地产企业、还是多业态的集团型地产企业，主数据管理均扮演着关键角色。地产行业面临着来自客户、项目、供应商等多个方面的复杂数据，要求有效整合以支持业务流程和决策。

  • 在地产行业，从普通级别的企业到集团级别的企业，主数据管理呈现出差异明显的现状。普通企业主要面对基础的客户、项目和员工等主数据，管理相对较为简单，注重的是数据的准确性和业务流程的高效性。而集团级别的企业由于在不同业务领域的拓展导致主数据管理变得复杂，集团型企业需要处理多元业态、跨地域的数据整合，涉及到住宅、商业、物业服务等多个领域，因此需同时管理多个维度的主数据。此外，不同业态之间的关联性使得数据的交叉分析和业务流程的协同成为挑战。

2.6（六）政府机构主数据管理

  • 近年来，随着我国政府管理从信息化走向数字化，政务主数据管理已成为我国数字政府建设及运行的核心内容。特别是中共中央、国务院印发《数字中国建设整体布局规划》、《全国一体化政务大数据体系建设指南》、《关于构建数据基础制度更好发挥数据要素作用的意见》后，各级政府纷纷响应，积极推动数字政府在新政策、新形势、新需求背景下的二次转型，力图构建更加智能、高效、稳定、安全的政务数据资源管理体系，支撑、赋能政务服务及管理业务应用，因此政务主数据管理越发显得重要。

  • 政务主数据一般借助数据资源库的建设进行管理，通常包含基础库和主题库两大类，资源库平台上接国家，下通市州、横联厅局，集数据归集、治理、管理、应用、共享、开放等多种功能于一体，依托共享门户、管理门户和开放门户，为政务主数据共享、开放和管理提供统一的平台支撑。

  • 政务主数据管理是数字政府一体化数据资源体系良好运转最为关键的因素之一。

  • 首先，政务主数据管理通过制定统一的主数据标准及规范确保各政府部门之间、不同政务系统之间的核心数据资源的一致性和标准性是政务数据资源共享共用的前提条件，为政务服务及管理业务提供了可用、好用的数据资源。
  • 其次，政务主数据管理为数字政府对政务数据质量检测及管理工作提供了必要条件，是推动质量问题数据资源回流数源单位，打造政务数据质量改进闭环的核心因素。
  • 再次，通过政务主数据的集中管理，为跨部门、跨层级、跨地域的政务数据资源整合、共享、应用提供了可行性，为最大程度发挥政务数据价值提供了便利。通过激发数据潜能，使政务数据在推动社会经济发展、提升社会群众获得感、幸福感方面发挥了更大的作用。

3 主数据管理主要内容

3.1 （一）主数据识别

1、主数据对象识别

  • 主数据对象的识别主要依赖于所识别对象本身具有的特征，主要包括: 是否为核心对象、是否属于基础数据、是否被重复使用三个方面，被判定对象需要同时具备这三个方面的特征才能被识别为主数据对象。
  • （1）核心对象：与组织业务经营直接相关的最关键、最核心的数据对象。
  • （2）基础数据：是组织业务经营活动发生的依托，属于基础数据的范畴。
  • （3）重复使用：被组织多个业务部门、多个系统之间共享。

2、主数据属性识别

  • 组织通常会使用各种统计学方法来进行主数据的识别，最常见的一种为多因素分析方法，即结合主数据的特征，提炼主数据的共享性、权威性、稳定性、高价值性等识别因素，判别因素的符合程度（符合、不符 合），确定主数据范围。

  • 例如根据主数据的共享性，可采用UC矩阵法【定量判断】数据的共享程度，即用U（Use） 和C（Create） 来表示数据的使用和产生情况，识别同一类数据由多少个源头创建，由多少个系统共享。以下为某金融行业主 数据识别定量分析UC矩阵示例。

表 1 主数据识别定量分析UC矩阵（示例）

数据名称 核心系统 ECIF系统 人力资源系统 信用卡系统 零售信贷系统 机构管理信息系统 ...
客户数据 U C / U U /
机构数据 U U C U U C
员工信息 U U C / U U
存单信息 C / / / / /

进一步地，可根据主数据的唯一性、稳定性、长期性等特点进一步进行主数据的识别确认。

表 2 主数据分析表（示例）

序号 数据名称 共享性 唯一性 稳定性 长期性 是否主数据
1 客户数据 A 符合 符合 符合 符合 是
2 机构数据 B 符合 符合 符合 符合 是
3 交易数据 C 符合 符合 不符合 符合 否
4 指标数据 D 符合 符合 不符合 不符合 否

3.2 （二）主数据标准

主数据标准化是建立在对业务流程分析的基础之上，是信息共享的前提和基础。主数据标准是定义数据的基本单元，通过数据标准定义实现组织数据规范、数据质量校核准确、应用分析高效。主数据标准的根本目的在于，整个主数据管理活动中，各方的参与人员在接触或使用相关名词内容时，均能够保持一致的理解，主数据标准通常包含编码规范、分类体系、描述与表达规范、质量与安全规范。

1、编码规范

编码规范是用于唯一标识和分类主数据的一套规则，通常包括编码规则、编码结构、编码字典三部分。

  • （1）编码规则：定义如何生成唯一的编码，例如使用数字、字母或组合。
  • （2）编码结构：定义编码的组成部分和它们之间的关系。
  • （3）编码字典：提供编码的含义和解释，以帮助用户理解和使用编码

2、分类体系

分类体系是指对组织内的主数据进行分类和组织的一套方法和框架，通常包括分类方法、分类层次、分类字典三部分。

  • （1）分类方法：定义如何对主数据进行分类，例如按业务领域、按数据类型、按数据来源等。
  • （2）分类层次：定义分类的层次结构，例如一级分类、二级分类等。
  • （3）分类字典：提供分类的含义和解释，以帮助用户理解和使用分类

3、描述与表达规范 (主数据模型)

主数据描述与表达规范即主数据模型，是指一系列用于定义、组织和标准化主数据的规则、格式和结构。这些规范旨在确保主数据的一致性、可理解性和互操作性，以便于主数据在不同系统之间进行交换、分析和共享。主数据描述与表达规范通常包含主数据定义、数据格式、数据值范围、数据字典、数据关系。

  • （1）主数据定义：对主数据的含义、范围和用途进行明确的定义。
  • （2）数据格式：规定主数据的存储格式和表示方式，包括数据类型、长度、精度等。
  • （3）数据值范围：指定主数据允许的取值范围。
  • （4）数据字典：对主数据的各个字段进行详细描述，包括字段名称、字段类型、字段长度、字段值范围等。
  • （5）数据关系：描述主数据之间的关系，如主键、外键、参照关系等。

4、质量与安全规范

组织在建立主数据标准体系过程中应进一步明确主数据的质量和安全要求。

  • （1）数据质量规范：规定主数据的质量要求，如准确性、完整性、一致性、可用性等。
  • （2）数据安全规范：规定主数据的安全要求，如访问控制、加密、备份等

3.3 （三）主数据管理制度

  • 主数据管理制度是一种组织级方法，旨在确保在整个组织中，可对各类核心数据实体进行统一的、有序的管理，建立主数据管理制度有助于组织更好地理解、管理和利用其核心数据，提高业务效率，降低风险，支持战略决策，并适应不断变化的经营环境。
  • 主数据管理制度通常包含：
  • 目的及适用范围、
  • 组织确立及职责划分、
  • 主数据工作流程、
  • 主数据管理考核。

1、目的及适用范围

让组织中的相关人员了解本制度推行的意义和作用，同时说明该本制度应用于何种场景，与哪些业务、哪些部门相关，确保本制度在后续的主数据管理活动中得以正确运用。

2、组织确立及职责划分

为了确保主数据的质量及管理效率，组织需要明确负责主数据管理的组织，设立专门的主数据管理部门或成立管理委员会；组织成员可由专人专岗负责，也可以由相关部门的人员兼职担任，做到责任到人。一般管理组织需要包含三层：

  • 决策层：通常由公司高层或者部门主管组成，负责制定主数据管理的战略规划和政策，对整个主数据管理工作进行最终的决策和审批。
  • 管理层：这一层通常由主数据管理人员组成，他们负责牵头组织制定主数据标准、主数据管理制度和有关方案，并推进相关工作计划的执行。
  • 执行层：由业务人员和技术人员共同组成，业务人员作为业务执行层负责编写主数据标准规范，设计主数据管理机制，并开展主数据申请、审核、使用等日常工作；技术人员作为技术执行层负责将主数据标准和管理机制落标，按照既定的规范进行系统开发工作，以及按照规范要求执行各项数据清洗、整合以及维护等任务。

从以上三个层级展开，面向主数据管理全过程，如规划、实施、维护等各项活动，组织还需要进一步明确相关角色，并对各角色的职责、权限进行详细描述。

3、主数据工作流程

规范化的流程能够确保组织内的主数据各项活动、操作按照事先定义好的标准和步骤进行，有助于建立一个有序、高效、质量可控的环境，为组织主数据管理的可持续发展提供了基础。主要管理流程包括：

  • （1）标准相关的流程，主要包括各主数据的标准的确立、变更、评审、发布，主数据模型的发布、变更等；
  • （2）数据相关的流程，主要包括各主数据的申请、审核、录入、维护、启停用等操作涉及的流程；
  • （3）系统集成相关的流程，主要包括各主数据的源数据接入、数据下发策略调整等；
  • （4）数据质量相关流程，主要包括各主数据质检规则的制定、数据质量检查方案、问题数据整改等。

4、主数据管理考核

组织内需要定期对主数据管理的情况进行绩效考核，通过定义一系列的绩效指标，衡量管理工作执行的好坏，通常可以从两大方面进行考量，一个是主数据本身的质量，如主数据准确性、完整性、一致性、唯一性、及时性等；另一个是管理执行的质量与效率，如主数据纳管率、主数据系统覆盖率、主数据同步成功率、主数据清洗完成度等。

3.4 （四）主数据管理平台

主数据管理平台是主数据标准、主数据管理制度的落标工具，通过成熟的、系统性的功能支撑主数据管理的高效运行。平台应当具备的主要功能包括以下几点：

1、主数据标准管理

支持在线编制标准目录，创建、评审、发布主数据标准，并支持标准文档的存储管理与下载。

2、主数据编码管理

支持统一管理主数据码段体系，基于统一码段体系，拼装主数据编码，将编码绑定主数据模型，保障主数据的唯一性、规范化和一致性，提高主数据质量。

3、主数据建模管理

支持通过可视化界面配置主数据对象分类、视图、属性、填报界面、编码规则、审批流程等，能够支撑单一、层级结构，满足多视图间的一对多关系的构建，支持模型的审批发布及版本记录。

4、主数据生命周期管理

支持主数据申请、校验、审核、发布、维护、变更、停用等全生命周期管理，能够在过程中提供数据查重、审核校验、数据审批多种方式，确保数据的准确性，并能通过数据版本、操作的记录保证数据的可追溯性。

5、主数据集成管理

支持通过组件化、可视化的方式，自由定义数据集成任务，实现源数据的接入、数据处理以及主数据对下游系统的分发，能够支撑实时、定时任务、手动多种执行机制，完成数据库、接口方式的数据集成。

6、主数据质量管理

能够对常见的质量检查规则进行内置，如：空值检查、值域检查、逻辑检查等等，同时也能支持通过脚本的方式，形成个性化的检查规则，并能根据需要制定检查的时间及频次，呈现检查结果。

7、主数据安全管理

能够保护主数据的安全性,防止数据丢失、泄漏和篡改，特别是涉及敏感信息（如客户个人信息）时支持建立分类分级管理、设置安全标记、提供访问控制、数据脱敏和数据水印等服务。

8、工作流程管理

支持工作流程的设计与配置，支持通过判断审批数据的内容经不同的分支完成数据审批工作，并能记录流程设计的版本。

9、用户权限管理

支持机构、用户、权限的灵活配置，能够实现数据字段级的权限管控。

3.6 （六）主数据应用

1、集中式应用

在集中式应用模式中，所有主数据都通过主数据管理系统进行创建、查询和维护操作，再由主数据系统同步给业务系统。集中式应用通常采取较为严格主数据管控流程，主数据标准只需在统一的主数据管理系统内落标，并设置主数据申请、审批、分发等工作流程。同时针对不同类型的主数据对象，考虑到主数据管理职责、主数据属性等因素，按照主数据对象设置差异化管控流程。集中式的应用模式通常
配套建设独立的主数据运营团队，保证集团型或多层级组织的主数据一致性，保证核心业务系统间的贯通。

  • （1）适用场景：
    适用于组织结构相对简单，或决策权力高度集中，或对数据一致性和集中控制有较高要求时。

  • （2）优势
    数据一致性高：中心化管理确保所有业务单元使用相同的主数据，减少了数据冗余和不一致性。
    管理简便：中央管理使得数据更新、维护、权限控制更为简便，降低了数据管理的复杂性。

  • （3）劣势
    不适应分散业务：对于多地域、多业务单元的行业，中心化管理可能导致数据访问的复杂性增加，无法满足多样化业务对主数据的需求。
    单点故障：中央数据库成为单一故障点，出现故障可能导致全局性的数据不可用。

2、联邦式应用

联邦式应用模式一般由多个源头系统作为主数据权威源头，各类应用系统既可以将主数据记录传递给主数据管理系统进行统一分发，也可以直接在源头业务系统间落实主数据记录的同步和分发。
联邦式主数据应用模式以核心的多个源系统为主要管理对象，组织的信息化能力较强，源头系统和主责部门具有很强的数据管理能力，支持系统的深度改造和开发，可以承担主数据管理的职能。

  • （1）适用场景：适用于组织中业务分布广泛，但仍需要一定程度的数据集中管理。各业务单元保留一定程度的自治权，但通过联邦机制进行协同。
  • （2）优势：
    部分自治权：各业务单元保持一定程度的自治权，能够根据本地需求管理主数据。
    数据协同：通过联邦机制实现数据协同，有利于跨业务单元的信息共享和流通。
  • （3）劣势：
    复杂性增加：相较于中心化管理，联邦式管理的协同机制增加了系统的复杂性，需要更精细的协同管理。
    数据一致性挑战：虽然进行了联邦协同，但在不同单元之间仍需谨慎管理数据一致性，否则可能出现问题。

3、分析式应用

分析式应用是在数据分析侧对主数据对象进行分析提炼，进入数据仓库和数据湖的数据中包含了主数据对象，经统一清洗、转换、集成，形成
准确、一致的主数据集合，为分析型应用提供数据支撑。
分析式应用模式以组织的数据分析挖掘能力为核心，通过在数据入湖、入仓之后进行主数据质量的稽核监控，实现对主数据对象一致性、准确性的管理，虽然有一定延迟但仍然可以很好地对源头系统主数据质量问题管控。分析式应用适用于数据分析能力强、源头业务系统复杂且稳定，同时各业务单元较为独立，数据协同需求弱的场景。

  • （1）适用场景：适用于组织结构较为分散，各业务单元有较大独立性，需要灵活管理主数据的情况。每个业务单元的数据管理自洽，跨业务协同需求少。

  • （2）优势：

业务自治：各业务单元可以根据自身需求自主管理主数据，不受其他单元的制约。
本地化处理：每个地区或业务单元可以根据本地法规和业务特点进行数据管理，提高本地化适应性。

  • （3）劣势：
    数据不一致性：分散管理容易导致不同业务单元之间的数据不一致，增加了数据质量控制的难度。
    难以协同：难以实现全局性的数据协同和共享，容易导致信息孤岛问题。

4 主数据管理策略

4.1 （一）主数据管理成功要素

1、高层领导支持和参与

确保高层领导的高度支持和参与，以促进跨部门、跨层级和跨企业的协作，并提供必要的资源保障，例如为主数据建设项目分配预算、人员以及在组织内推广主数据管理的文化等。

2、业务方深度参与和认责

主数据管理与组织业务经营息息相关，确定清晰、具体的业务需求和目标，并确保这些目标与组织的战略相一致，才能够使主数据管理发挥真正的作用，而这就离不开业务方的参与。组织内相关业务部门需要深度参与到实施工作中来，并对不同类型的主数据对象进行认责。在整个主数据建设、管理和运营的过程中，必须始终坚持业务为主导的原则，才能达到通过主数据管理提升组织业务效率、降低经营成本等效果。

3、合适的主数据管理模式

随着主数据管理模式的日益多样化，组织应当根据自身的特性来选取最适合的管理模式，识别出具有最大业务影响的主数据对象，并保证主数据对象明确、主数据属性精简、主数据记录集中。无论是集中式、联邦式还是分析式管理，都必须以明确的业务需求和目标为基础，确保所选择的主数据管理模式能够契合组织的业务特性和要求。

4、技术工具的选择

为保证主数据技术解决方案有效执行，应选择适合的技术工具，除了支持与业务系统集成，还应支持与企业其他的数据管理平台深度集成。另外，具有专业知识和丰富行业经验的主数据服务商，可以更好地发挥主数据价值并缩短解决方案实施周期。

5、主数据度量与评估

组织应定义衡量主数据管理的能力指标，并定期进行审计和评估，以便不断优化主数据管理过程。也可以根据组织的特点使用已有的主数据管理能力评价模型。

4.2 （二）主数据管理的误区

1、主数据管理无法贯穿源头系统

真正意义上的主数据管理必须在源头完成，即把经过管理实现了标准化和唯一化之后的主数据分发给各系统使用，然后各系统在业务的跨系统处理过程中基于主数据产生业务意义一致的业务数据。如果不靠前完成主数据管理，而是通过维护系统之间的映射表在业务处理过程中由各系统通过翻译交互数据，保障唯一性、维护映射关系和进行翻译都有会产生大量的额外成本，系统之间数据交互复杂且成本高，因为主数据会持续产生和更新，使得上述问题会一直持续且越来越突出。更为严重的误区是在各系统各自产生业务数据后，用其他数据处理系统基于某些共性内容对业务数据进行清洗，通过清洗和整合希望形成与主数据管理相似的一致性的结果数据，一则需要长期维护复杂的清洗规则和日常的大规模清洗数据，复杂度和成本都非常高，关键是没有主数据管理往往也无法获得正确的业务数据，这类有误的数据是很难通过数据清洗等补救措施纠正的。综上，如果没有在源头开展主数据管理工作，很难以较低的成本达成系统间的对称，所以主数据一定是在系统集成时即把主数据的逻辑固化到多个相关系统的
功能中，基于主数据形成各系统之间信息对称的业务数据。

2、混淆业务实体数据和主数据范围

业务实体数据为全面描述业务往往会有很多字段，而其中很多字段是该类业务特有的，不是其他相关系统需要引用的，所以非共用范围的字段不应纳入主数据管理。同时，把大量用于查询、统计的字段纳入到主数据范围也是不合适的，主数据应是被相关系统共用后用以赋值、判断等操作的，即相关系统使用主数据能够完成一个实质的业务功能性处理，而不是主要用以查询、统计等非业务功能性处理的，特别是与主数据应用无关的字段被纳入主数据管理后，这些无关字段的变化也会影响主数据的稳定的。所以在定义主数据模型时，只选择主数据应用所需的元属性作为主数据的内容，避免无关字段造成的非必要冗余存储和非必要的主数据多变。

3、同时维护多套主数据编码体系

按照主数据“一实体一编码”的基本原则，各应用系统应尽量采用主数据编码作为本系统内对应数据的编码，这样系统直接数据交互时无需翻译直接传递，而部分企业并未严格遵照“一实体一编码”的原则，#在应用系统仍使用【自有编码】，同时在系统内为数据设置主数据编码字段，对外交互数据时才使用主数据编码，这样相当于同一实体拥有了多个编码，在维护数据和数据交互时更加复杂，不是成本最低的应用方式。除非应用系统必须使用自有编码，不能被外部赋码时再使用额外的字段存储主数据编码。不过在实践中，如果是全新集成建设的应用系统，在开始阶段即采用了主数据管理系统，比较容易实现“一实体一编码”，但如果在相关应用系统运行之后再应用主数据，就需要应用系统改用主数据编码，如果应用系统已产生的数据量非常大，重新改用新编码会非常复杂，有时也不得不妥协，对已有数据采用额外设置主数据编码字段的方式，由此也说明，主数据应该在多系统集成建设的规划阶段就予以设计和应用，降低系统集成和主数据应用的复杂程度，为系统和数据打下坚实基础。

4、组织内主数据编码沿用外部编码

居民身份证号码能够唯一确定一个人员、统一社会信用代码能够唯一确定一个组织机构，但并不建议直接使用身份证号码作为人员主数据编码、社信代码作为客商主数据代码，原因主要包括三点：

  • 第一，外部编码往往无法覆盖所有业务场景，例如外籍员工就没有中国的居民身份证号码，境外客商也没有中国的社信代码，如果坚持使用此类外部编码作为主数据编码，就需要为境内和境外的数据设置两套编码体系，而主数据编码常规情况下采用无意义的流水号即可，设置两套编码体系让编码和使用编码变得更复杂。
  • 第二，外部编码具有实际的意义，一条主数据一旦采用外部编码，那么主数据就从属与外部编码代表的意义，而在创建主数据时一旦把输入作为主数据编码的外部编码输入错误，这条主数据也变成了错误的数据，必须要予以改正，但修改生效的主数据编码往往非常困难，可能涉及多个系统的一系列连锁式的修改，有时甚至无法修改。第三，尽管一些外部体系的编码也非常稳定，变化的可能性很小，但仍然存在因外部编码变化导致主数据编码需要相应变化的可能性。
  • 综上，不建议直接使用外部体系的编码作为主数据编码。

5、将主数据作为孤立项目推行

主数据管理实践中常遇到两种极端情况：一种过分强调技术层面，仅关注系统建设；另一种则将主数据视为孤立的管理职能，仅制定宏观规范。不论哪一种情况，都属于将主数据作为孤立项目推行，这样会难以激发业务部门的参与，无法解决跨流程、跨部门、跨系统的协作难题，不仅会导致主数据管理与现有IT环境脱节，也无法满足组织对业务价值的预期。

5 主数据管理未来展望

随着各行业数字化转型的不断深入，主数据管理的形态将持续进行演进和变化，但是业界对主数据的管理和应用需求将长期存在，并且会持续将主数据作为组织数字化转型的重要基础。主数据管理将覆盖更多核心业务领域，促进业务流程和应用系统集成，支撑更加丰富的业务流程及业务场景。

5.1 （一）从结构化到非结构化

随着企业数据管理工作的深入，更多类型、更多形态的数据纳入了管理范畴，相比结构化数据，商标、图形、颜色、字体、指令等半结构化和非结构化数据在跨组织、跨系统、跨业务流程共享过程中，需要保持全局一致和动态更新，对主数据管理提出了更高的管理要求，将催生更多形态的技术手段。

5.2 （二）从自动化到智能化

随着的企业数字化转型有关技术的应用日益成熟，未来将有更多企业采用OCR、RPA、AI等技术提升主数据管理的自动化程度。相比传统的主数据人工维护方式，可以实现主数据的自动化创建、流转、审核，缩短主数据的创建审核周期、节省工作量投入、提高主数据完整性和准确性，在主数据新增和变更管理过程中大幅提高工作效率。

5.3 （三）从组织级到行业级

主数据管理将从组织级管理升级为行业级、产业级管理，从辅助组织内部业务流程发展为支撑产业链贯通，在跨组织范围内达成对核心业务数据对象的一致共识，扩大主数据资源的共享范围，进而提升产业链协同过程中的信息互通与能力互补，并通过成熟的行业级主数据应用带动组织级主数据管理能力提升。

5.4 （四）从有到“无”

随着模型驱动开发和组件化技术的日益成熟，越来越多的组织通过企业架构指导信息系统的建设和重构，对组织主营业务进行高度抽象后，客户、产品、机构等主数据管理的职能因其内在共享性，就会由独立业务组件来承担，从而实现业务流程活动、任务、信息需求的标准化。
在组件化架构重构组织核心业务系统的过程中，主数据管理形态演变为企业级数据架构和应用架构管控模式，从识别和管理组织核心主数据演变为业务源头管控驱动的【全域数据管理】。

6 扩展延伸：主数据管理系统

本章节属于白皮书以外的内容。主要是对主数据管理系统的实现情况做一个大致的了解。

6.1 主数据管理

对在主数据管理平台中进行管理的数据集进行统计分析，支持用户进行统一查询。

6.2 主数据识别

采用主数据智能发现算法，从业务系统中识别出主数据表，并做主数据表推荐度的标识，辅助用户完成主数据分布的梳理。

6.3 主数据融合

主数据融合解决了多源头管理的同一类主数据标准不一致无法匹配的问题，通过算法参数实现同一主数据的自动融合，建立映射关系。支持对融合结果进行人工修正补充。并将融合后的数据以服务的形式提供给第三方应用。

6.4 主数据建模

在系统中建立主数据模型并完善相关的规则与流程，建立统一的参考数据标准，在主数据模型中进行引用。支持按照业务主题对主数据模型进行分类管理，支持手动、模板导入、逆向提取、智能发现等多种方式完成主数据模型的创建，支持对模型进行变更、审批与版本管理。

6.5 主数据编码

主数据编码用于标识主数据的唯一性，平台提供5类编码，满足业务的多类编码需求，一般以固定码加流水码为主要编码规则，支持配置编码的前缀后缀，支持自定义流水码长度。

6.6 主数据维护

支持主数据的新增、自动采集、批量导入、发布、修改、删除等基础功能；支持主数据的常用及高级查询；支持按照模型设置的规则进行数据合规性的校验，提高数据质量。

6.7 主数据服务

支持对已有的主数据进行申请订阅，申请通过后，当主数据的数据发布完成则会同步推送到已申请的系统地址中，未申请的系统不支持同步数据。

6.8 主数据标签

对企业主数据进行统一主题标签管理，在业务层形成统一规范。

X 参考文献

posted @ 2024-01-19 13:05  千千寰宇  阅读(627)  评论(0)  编辑  收藏  举报