数据治理手册-全-
数据治理手册(全)
原文:
annas-archive.org/md5/227bc2e47a2eeb90930d1903a7c1efca
译者:飞龙
前言
世界每天生成大约 2.5 千亿字节的数据(并且这一数字还在增长!)。因此,理解和管理生成的数据变得越来越复杂。我们的任务是推动简化、理解和易用性,使得访问和使用数据变得尽可能简单和易于理解。
作为数据专业人士,我们的职责是确保能够对数据进行治理,并为业务提供合适的数据、在合适的时间,并且具备适当的控制。本书是一本全面的指南,旨在帮助更好地理解数据治理的概念、关键组成部分,并成功地将解决方案定位为能够转化为真实、可理解的业务成果的方式。读完本书后,你将能够成功地提案并获得对数据治理计划的支持,同时提供业务能够理解和深刻重视的可衡量结果。
我们将从建立首席数据与分析办公室和构建业务案例开始,成功实施任何首席数据与分析官(CDAO)需要交付的更多技术能力,以推动成功的数据管理。你会注意到,在本书中,我强调了这些能力背后的“为什么”。根据我的经验,单纯地解释这些能力是什么,而无法展示它们如何影响业务,往往会导致失败。
关于这些主题,还有许多更技术性的书籍可以参考,而我希望本书与现有书籍的不同之处在于:商业价值。我将花时间以业务利益相关者能够理解的方式解释技术能力,目标是创建一个以业务为主导的计划。
最终,如果你想深入了解某个特定工具或技术实现,还有许多其他优秀的资源(包括书籍)可以帮助你推动实施,其中包括本书出版商 Packt 提供的精彩资源。
本书适合谁阅读
本书适合首席数据官、数据治理领导者、数据管理员、希望理解其工作商业价值的工程师。它同样适合寻求进一步理解数据管理的 IT 专业人士。任何希望更好理解数据治理的业务领导者也会从学习基础知识中受益,以及任何需要管理首席数据与分析官的高管,也能更高层次地理解这一领域。你应该具备基本的数据处理知识,了解业务的基本需求以及如何通过数据解决方案来满足这些需求。你不需要具备向高管销售解决方案的知识或技能,也无需具备编程经验。
你将学到的内容:
-
如何准确地将数据治理定位以获得高管的支持
-
如何启动一个大规模的治理项目,并确保其有可衡量的影响
-
现实世界中的应用案例,帮助你快速采取行动
-
如何获得支持以推动数据治理主导的数字化转型
-
如何自信地强势启动
-
从构思到交付及以后的详细逐步指南
本书涵盖的内容
第一章,什么是数据治理?,向你介绍数据治理。从表面上看,数据治理可能会被认为是一个成本中心,如果没有考虑价值生成。许多公司在没有正确的支持、结构或资金模式的情况下启动数据治理计划。首先,你将学习数据治理的基本概念及其与相关能力的关系。然后,你将学习数据治理计划的组成部分,每个组成部分为何重要,最后,为什么要把数据治理视为业务价值的推动者。
第二章,如何建立一个支持者联盟,探讨如何为你的计划争取支持,这可以说是启动一个能够带来影响的数据治理计划中最重要的部分。首先,你将学习为什么以及如何识别并确保正确的高管赞助商来支持数据计划,然后如何争取更多的领导支持。最后,你将学习如何激发和激励整个公司,促使他们共同合作,朝着对他们有价值的成果前进。
第三章,建立高效能团队,专注于建立一个高效的数据治理团队,这是公司利用数据成功的关键和长期投资。首先,你将了解成功的数据治理职能中的关键角色,他们应该如何结构化以实现结果,最后,如何建立支持团队运作的例行公事和节奏。
第四章,为你的组织建立基线,教你定义基线的重要性,不仅是为整个组织,也包括每个单独的项目。衡量成功的关键组成部分之一是衡量起点。你将学习如何捕捉基线,并向谁传达这一信息。最后,我们将讨论如何确保在开始工作之前就达成对基线的共识。
第五章,定义成功并对结果达成一致,聚焦于许多数据转型失败的领域——即与业务相关的结果对齐。大多数数据转型停留在数据结果阶段,未能达到最后一公里——即业务利用交付的数据能力来驱动运营效率、提高收入和获得更好的洞察力。在本章中,你将学习为什么在数据之外并与业务对齐定义成功至关重要,如何成功地映射所有相关利益相关者(包括二级和三级利益相关者),以及如何将结果转化为业务术语。
第六章,元数据管理,深入探讨了建立一个高价值、高回报的元数据管理能力,这是任何数据治理程序所必需的。首席数据与分析官的成败取决于是否能回答几个基本的核心问题。我的数据在哪里?谁拥有它?它是如何分类的?它是否安全?我能否利用它创造价值?我知道如何降低风险吗?你将学到这些问题的答案,并通过实践指导你如何战术性地建立成功的元数据管理能力。
第七章,技术元数据和数据血统,探讨了建立一个高价值、高回报的数据血统能力,这是任何数据治理程序的核心能力。接续 第六章,本章聚焦于数据供应链。你将学到 第六章 中的问题的答案,重点关注数据血统,并将通过实践指导你如何成功地设置数据血统。
第八章,数据质量,探讨了如何理解数据的质量,并在面对“我能相信它吗?”这个问题时,能够有一个有力的立场,这对于任何使用数据或信息来做决策的用户来说都至关重要。建立数据质量能力可以使首席数据官(CDO)/首席数据与分析官(CDAO)及其团队能够为其数据提供背书,捍卫信息的质量。当与元数据管理和数据血统结合时,这一解决方案还可以引导数据认证过程。你将学到这些问题的答案,并通过实践指导你如何战术性地建立数据质量能力。
第九章,数据架构,深入探讨了数据架构。设计组织内信息的模式和最佳流动方式,有时更像是一门艺术而非科学。在数据架构中,你将学到这些内容。首先,你将了解什么是好的数据架构,何时以及如何将其应用于组织,为什么完美并不是目标,以及何时不应该让数据架构师参与项目。
第十章,主要数据管理,聚焦于主要数据。任何组织的核心能力之一就是标准化并统一其最关键的信息——客户、产品和参考数据。理性化数据本质上提供了解决方案,而被多个部门多次使用的数据,则为组织整体的利益而进行标准化和清理。首先,你将了解什么是主要数据,什么不是主要数据,澄清常见误解。接着,你将了解各种主要数据的类型,如何优先排序,以及如何实施强大且集中的主要数据解决方案,从而提升数据的战略资产价值。迄今为止介绍的所有能力,将在这一强大能力中结合起来,形成一个整体。
第十一章,数据运营,探讨了如何运行数据组织的运营,包括对主要数据管理、数据仓库、数据湖以及其他由数据组织管理的授权提供点的支持。首先,你将了解什么是数据运营,如何有效扩展规模,以及何时引入工程支持。最后,你将学习如何将数据运营(DataOps)优化为核心能力,以及有哪些自动化机会。
第十二章,强力启动,探讨了如何启动一个良好的数据治理项目,如果启动不当,可能会迅速失去影响力。启动的重要性不容忽视。你将学习如何创建简单且强有力的核心信息,以吸引并清晰地向利益相关者传达交付内容及其实现方式。接着,你将了解如何制定启动计划,设计反馈环路以确保持续改进,最后,如何定期报告影响。
第十三章,通过影响力交付快速胜利,深入探讨了启动后的阶段,在此期间,数据治理团队必须迅速开始交付成果。首个价值指标的时间应尽可能短,同时产生对业务有意义的影响。你将学习如何通过交付快速胜利来创造动力,如何向业务沟通这些胜利,以及如何确保业务不仅理解结果,还能成为数据治理项目未来成功的支持者。
第十四章,通过数据自动化实现更强大的成果和影响,重点讨论自动化,这是加速数据产品交付的一个杠杆。首先,你将了解到可以应用于数据治理的自动化技术。其次,你将学习如何选择适合其转型的自动化解决方案。最后,你将学习如何通过自动化推动所有解决方案的转型。
第十五章,推动业务成果的采纳,探讨了业务采纳的问题。在你已经学习了数据治理是什么、如何获取支持、设计计划、建立组织基准、启动并按计划交付后,你需要确保你的解决方案能够被业务部门采用。通过构建一个采纳路线图,你将能够向利益相关者清晰地阐述如何使用这些解决方案,从而确保为组织提供的解决方案能够产生持久的影响。最后,通过确保持续的支持到位,你将能够将影响力翻倍。
第十六章,通过有意义的结果交付可信赖的成果,教你如何确保承诺给利益相关者的内容与实际交付的成果之间的一致性。在数据治理实施的过程中,首席数据/分析官及其领导团队必须始终保持信息传递的焦点是结果。你将学习如何解释预期交付结果与实际结果之间的差异,以及这种做法如何建立信任。最后,你将学习如何在交付过程中有力地将信息传递回利益相关者,以便产生更大的影响。
第十七章,案例研究 - 金融机构,带你了解如何将本书中所涵盖的主题应用于一个高度监管的组织(即金融机构)。首先,你将发现一些独特的使用案例,专属于此类实体。其次,你将学习如何提炼出独特的需求,以及如何调整信息传递、顺序和结果,以适应高度监管组织的特殊需求。
为了充分利用本书
你将学习如何在数据治理中设计信任,从对数据治理的基本理解开始,并学习如何围绕数据治理的需求将组织进行对齐。你将了解数据治理的子组件,如何实施它们,以及如何推动组织内部的采纳,从而为业务创造价值并提高易用性。为了最大程度地发挥本书的价值,你应该以初学者的心态去阅读,让自己以全新的视角重新学习数据概念。
联系我们
我们始终欢迎读者的反馈。
一般反馈:如果你对本书的任何方面有疑问,请通过电子邮件联系我们 customercare@packtpub.com,并在邮件主题中注明书名。
勘误:尽管我们已尽一切努力确保内容的准确性,但错误难免。如果你在本书中发现了错误,我们将不胜感激,请将其报告给我们。请访问 www.packtpub.com/support/errata 并填写表格。
盗版:如果你在互联网上发现任何形式的非法复制品,我们将非常感激你能提供具体的网址或网站名称。请通过 copyright@packtpub.com 联系我们,并附上链接。
如果你有意成为作者:如果你在某个领域有专长,并且有意撰写或参与书籍创作,请访问 authors.packtpub.com.
分享你的想法
阅读完数据治理手册后,我们很想听听你的想法!请 点击此处直接前往亚马逊书评页面并分享你的反馈。
你的书评对我们和技术社区都很重要,将帮助我们确保提供优质内容。
下载本书的免费 PDF 副本
感谢购买本书!
你喜欢随时阅读,但又无法随身携带纸质书籍吗?
你的电子书购买是否与所选设备不兼容?
不用担心,现在每本 Packt 书籍你都可以免费获得该书的无 DRM PDF 版本。
随时随地,在任何设备上阅读。直接从你最喜爱的技术书籍中搜索、复制并粘贴代码到你的应用程序中。
优惠不止于此,你还可以获得独家折扣、新闻通讯以及每日送达的精彩免费内容。
按照以下简单步骤即可享受这些福利:
- 扫描二维码或访问以下链接
packt.link/free-ebook/978-1-80324-072-5
-
提交你的购买证明
-
就这样!我们会将你的免费 PDF 和其他福利直接发送到你的邮箱
第一部分:设计通向可信数据的路径
本部分将概述如何设计数据治理程序,从基本定义开始,如何设计一个成功且可扩展的团队,如何获得支持,以及如何定义团队和公司在数据治理方面的成功标准。
本部分包含以下章节:
-
第一章,什么是数据治理?
-
第二章,如何建立倡导者联盟
-
第三章,建立高效团队
-
第四章,为你的组织设定基准
-
第五章,定义成功并对结果达成一致
第一章:什么是数据治理?
作为数据专业人员,你将经历的一些最令人沮丧的关于数据治理的对话是,数据程序常常被看作是一系列约束,而不是战略推动力,认为你是在拖慢业务进程,而不是促进卓越。我曾在三家财富 500 强公司领导数据转型,听到过许多类似的反馈。在我看来,这是反馈;我们在“数据语言”中发言,未能从利益相关者的角度创建一个以价值生成为核心的商业案例。相反,我们传递的商业案例关注的是数据需求而非业务需求。
从利益相关者的角度来看,推动业务的力量有很多:通过销售团队创造收入、面向现有和潜在客户的营销、经济因素和供应链挑战。数据是所有这些关键业务组成部分的一部分,但它并不是我们利益相关者首先想到的东西。它嵌入在业务运作的方式中,是日常工作的组成部分。它不应该也不应该被看作是一个独立的职能。
因此,我们的责任是服务于业务,并让它对我们所支持的业务利益相关者来说是无缝的。当事情感觉像是摩擦时,不一定是因为我们没有得到支持,而是因为我们只是领导者面临的众多问题之一。这常常表现为缺乏支持或反对意见、看似无穷无尽的问题,或者仅仅是缺乏参与。对于数据专业人员来说,这样的对话往往以沮丧和数据治理计划资金不足告终。我亲眼见过这个情形在各个组织中一再上演,并且听到过每个行业中的数据高管说过类似的话。过于频繁地,它最终以首席数据与分析官未能在组织中存活下来而告终。
问题是,为什么?
在接下来的 17 章中,我将解释为什么首席数据与分析官未能在他们的组织中建立自己作为战略业务伙伴的地位,以及你如何克服这些常见的陷阱并取得成功。我将涵盖你需要了解的所有内容,以建立数据治理的案例,号召你的组织支持你,部署强有力的数据治理计划,利用核心的数据治理解决方案,并将这一切应用于一个虚构金融机构的案例研究。让我们深入探讨。
你可以期待学习的内容
在本书中,我承诺会透明且直截了当地分享我的经验,我们将从一开始就明确:治理项目失败的原因是我们失败了。我们未能以让业务相关者理解的方式解释数据治理。我们没有深入且亲密地理解我们的解决方案如何推动业务成功。简而言之,我们未能从业务价值的角度进行解释。相反,我有机会与之合作的最成功的数据高管之所以成功,是因为他们深刻理解自己的公司。他们花时间深入了解业务,制定能够促进业务成功的数据解决方案,并成功地以业务结果而非数据结果的方式阐明其好处。
在深入探讨这些话题时,我不会假设你在实施成功的数据治理计划方面的经验。我将从基础开始,通过为你奠定定义和基础能力的基础,逐步介绍如何启动一个成功且有影响力的计划,并提供一系列成功的衡量标准,这些标准将引起高层管理层的共鸣,并最终获得公司董事会的认可。最终,我们将通过案例研究将所有内容汇总。在本书结束时,你将具备启动并在自己组织中卓越交付项目所需的一切。你的组织将不再被数据淹没,也不会缺乏洞察力。我们将共同改变这种局面。
本章将帮助我们扎实掌握数据治理的基础知识以及它与相关能力的关系。然后,我们将定义数据治理计划的组成部分、每个组成部分的重要性,并探讨为什么我们将数据治理视为商业价值的推动力。后续章节将深入探讨数据治理计划的基础能力以及如何实施它们。
我们将讨论以下主要话题:
-
什么是数据治理?
-
什么因素推动了对数据治理需求的增加?
-
数据治理组成部分的简要概述
-
数据治理作为一种战略推动力
-
为公司建立商业案例
-
何时以及为什么启动数据治理计划
什么因素推动了对数据治理需求的增加?
当我与各行业的数据专业人士会面时,我清楚地看到,数据治理比以往任何时候都更为重要。高管们对数据的期望越来越高,但没有适当的投资,就比以往更难以跟上业务的步伐。
那么,为什么我们在以业务节奏回应高层管理者时变得越来越困难?有许多关键因素,包括以下几方面的持续增长:
-
数据量:我们今天拥有的数据比昨天多(每天都在增加!)。事实上,数据量每两年翻一番。然而,我们不能期望能够翻倍我们的努力、员工数量或技术支出。
-
法规:监管环境正在不断演变,数据处理的期望也在增加。在美国,截至本文写作时,已有六个州通过了隐私和数据保护立法。这增加了数据处理合规性的复杂性。
-
期望:高管们的期望在上升,但我们对数据的使用并没有相应增长。在最近的一项 Tableau 调查中,超过 80%的 CEO 希望他们的组织能够以数据驱动,但不到 35%的员工认为他们的数据在决策中得到了使用。
-
用户基础:越来越多的人参与到数据中,他们希望自己能够使用数据,但也需要信任它。这使得我们的治理专业人员能够通过为组织提供可信且良好治理的数据,带来巨大的价值。
我们必须变得更加创新并更加深入,利用更多的技术(例如自动化和人工智能),比以往任何时候都要多。我们谈论这对我们的客户意味着什么,但这对我们意味着什么?如果今天很难回答一些关键的基本业务问题,那么我们如何期待在未来两到三年内,用更多的数据来回答这些问题?我们必须从这种紧迫感出发,构建能够扩展并在我们业务的规模、复杂性、期望和用户基础以空前速度持续增长的同时保持长久的能力。
什么是数据治理?
在深入讨论之前,我们有必要从基本定义开始。当我第一次从事数据管理工作时,我们犯了一个错误,假设组织中的利益相关者在我们讨论某一特定数据领域时,已对我们所指的数据达成一致。经过几个月围绕范围(如果某个数据元素、报告或系统在范围内)展开艰难对话后,我们意识到我们需要回过头来,向所有利益相关者明确几个非常简单的问题。
数据治理是通过对人员、流程和技术的正式协调,使组织能够在正确的时间以正确的控制方式将正确的数据汇集在一起,从而推动公司实现高效和有效的业务成果。这种正式的协调应当控制、保护、交付并进一步提升数据的价值,并为组织创造公平。数据治理是积极主动的,通过以下能力进行交付:
-
元数据管理
-
数据血统
-
数据质量
-
数据架构
-
主数据管理
-
数据操作
我们将在后续章节中详细探讨这些核心能力以及其他方法。构成成功数据治理计划的能力在几乎每个组织中的定义略有不同。因此,为了本书的目的,我们有必要在这里定义它们。你可以在自己的组织中或业务的常用语言中使用本书中的术语。
重要提示
花些时间建立一个快速参考指南,定义围绕您数据治理项目使用的最基本术语(例如,数据、治理、元数据等等)。让整个组织能够访问这个快速参考指南。根据需要进行补充。
数据与信息
我想指出,业内资深人士在使用“数据”与“信息”术语时有很强的热情。有些从业者坚信这两个术语并不相同,且不应互换使用。而另一些人则毫不思考地将它们当作同义词使用。依我个人的看法,这两者都可以适用于您的组织。重要的是要区分二者,以便您的组织理解这些定义,并能够在组织中恰当地使用它们。就我个人而言,我认为没有哪种立场是对的或错的。更重要的是,您需要从利益相关者的角度出发,并确保您的组织对所选用的对齐方式达成一致。对于本书的目的,我主要使用“数据”一词,并且会确保具体说明它的含义。
用例——金融服务公司
在我担任第一个数据治理职位时,我们启动了一个强大且价值数百万美元的转型项目,以遵守有关数据管理和监管报告的法规要求。在努力进行大约六个月后,我们发现自己在定义项目范围的“内”与“外”时遇到了困难。经过几次课程和充满热情的讨论后,我们意识到,最终我们无法很好地界定范围,因为我们的利益相关者对“数据”和“指标”有什么不同的看法。我们最终构建了一个完整的方法论,帮助公司和我们的监管机构理解我们如何看待报告,从而确保符合范围,列出了所有报告的完整清单,并记录了每一项报告是否符合标准,或未符合标准,这些信息可以供任何感兴趣的人或团体进行有据可查的挑战。我们没有从理论上辩论,而是具体记录了标准,并清晰地阐明了其理由。
我在这次经验中学到的有两点:在界定数据项目的范围时,不能假设人们知道或不知道什么;其次,您必须有可以社交化、达成一致并记录的基本定义,这样所有参与者才能保持一致。
我会要求我们在本书中都这样做。请根据需要回到这些定义,以确保我们保持一致。
什么是数据治理的误区
许多公司常常倾向于将问题归咎于数据和/或数据团队。数据治理(团队或计划)并不是解决所有问题的万能钥匙。数据就像空气一样,遍布整个组织,真正要做到良好管理,需要全组织的共同参与。就像火灾发生时空气的质量一样,差的数据就像火灾中的烟雾一样在组织中传播。有效的数据管理需要预防、检测和纠正,良好的数据管理要求整个公司都参与其中。单一的数据团队无法单方面解决所有数据问题。只有组织的广泛参与和行动,才能推动变革并有效管理数据。
其次,数据永远不会完美。如果你或你的高层管理团队期望数据治理能够完美无缺,我建议你调整你的期望。为了确保我们对成功的数据治理计划的适当期望和目标达成一致,我们必须定义成功。为此,我们必须从数据治理的目标开始。
数据治理的目标——创造业务价值
简单来说,公司存在的目的是为利益相关者创造价值。对于数据来说,数据有一个非常重要的目标,即为利益相关者增加公平性。有效地管理数据是公司为组织增加价值的一种方式。
图 1.1——一个简单的价值方程
资产是指组织拥有的具有经济价值的东西。负债是指减少组织整体价值的义务(无论是当前的还是未来的)。因此,当资产减去负债得到正值时,组织的价值增加(即创造了公平性);而当资产减去负债得到负值时,组织的价值减少(即减少了公平性)。
相同的思维方式也可以应用于数据。数据可以通过多种方式影响公平性。通过持续的合规性管理,避免罚款和处罚,以及增加或创造收入,来应对和最小化操作风险,可以创造公平性。我将这一概念分解为两个关键子部分,以便更具体地管理数据治理。这两个子部分(资产和负债)直接受我的会计和 IT 审计专业培训的影响,当管理层将数据解决方案转化为可衡量的价值(理想情况下是货币价值,但也可以考虑员工的时间价值)时,通常能产生共鸣。
重要提示
当数据为组织创造价值时,它就是一种资产。
一些例子包括:
-
用于多种目的的精心整理的数据集
-
客户健康评分
-
授权配置点
-
用于预测建模的数据模型
重要提示
当数据对组织构成风险时,它就是一种负债。数据可以是这两者,但不能只是其中之一(例如,一个数据解决方案可能会创造价值并减少风险)。
以下是一些例子:
-
未分类的数据
-
没有被分类,因此没有得到适当保护的数据
-
数据泄露/泄露的数据
理想情况下,组织应该管理数据的负债,同时最大化数据作为战略资产的价值,从而创造数据股权。根据你的业务和数据治理实践的成熟度,资产管理或负债管理可能是更优先的事项。
数据治理应通过增加数据作为资产的价值并减少数据负债来创造数据股权。作为你将本书中的原则应用到自己的组织时,我鼓励你回到这一框架。在你推销数据解决方案时,考虑以下几点:
这个解决方案如何增加我的数据价值(增加资产)和/或减少 负债?
两者都有价值。交付所创造的势能应直接转化为数据股权的增长。
一个数据资产的例子可能是一个经过精心筛选的数据集,因为它有明确的所有权,质量高,并且可以在整个组织范围内用于多个商业目的。一个数据负债的例子可能就是组织不知道自己拥有什么数据,这些数据存储在哪里,或者应该如何处理它们。这从安全角度来看对公司构成风险,而且,由于缺乏责任感,个别人员可能会错误地使用这些数据来做出本不适合的数据决策,增加公司基于不适用的数据做出错误决策的风险。
资产的价值衡量对每个组织来说都是独特的,但简而言之,能够将影响与组织联系起来是一个很好的指导原则。以下是一些在你尝试评估数据资产时可以考虑的问题:
-
这个资产能带来额外的收入吗?多少?
-
这个资产节省了时间吗?你能否通过按小时计算来估算个人节省的工时?
-
这个资产能改善客户满意度吗?这种满意度是否可以转化或计算为组织的价值,表现为额外的支出或增加的客户留存率?
图 1.2 – 数据资产、负债和股权公式
数据资产可能在这些组成部分中提供价值,且价值应根据情况进行相应计算。这一估值过程最重要的部分并非计算本身,而是与业务的对齐和一致。计算出价值后,重要的是去与业务沟通并征求反馈。他们是否同意你的评估?如果同意,那么你就有了一个经过充分审查的数据资产价值。如果不同意,就需要与业务一起对数据资产估值进行反复调整,直到达成共识。如果跳过这一步(验证价值),数据团队往往会被视为过度夸大自己在组织中的价值,这会直接削弱你在组织中的可信度。达成对业务价值的共识有助于建立强有力的业务关系,并为未来在数据解决方案上的投资提供可信度。
责任部分的衡量同样重要。与数据资产类似,组织所承担的数据责任的衡量将依据你的组织而有所不同。
重要提示
数据的增加并不意味着责任的增加是那么简单。
相反,数据管理越少,责任越大。当数据未被管理时,组织面临的风险更高。
一个很好的例子是安全风险。当一个组织不了解数据的位置时,它就无法有效或充分地保护这些数据。这带来了对组织的高风险(责任),并可能导致数据泄露,甚至更严重的数据泄密。以下是计算你组织数据责任时需要考虑的一些问题:
-
数据责任是否增加了组织的风险?多少?我们是否会因此责任而面临罚款或监管处罚?
-
责任是否推动了我们业务中的低效?你能否通过为个人计算小时费率来计算由于低效导致的工时损失(例如,手工流程与自动化流程之间的差异)?
-
这种责任会影响客户满意度吗?这种满意度能否转化或计算为组织在额外支出或客户流失减少方面的价值损失?
一旦你评估了数据资产的价值和数据责任的价值,就可以将其应用于计算数据权益。其核心思想是随着时间的推移增加权益。这个初步的计算可以作为你的基准,用于衡量随时间的进展。组织还可能希望利用数据成熟度模型来衡量进展;然而,这些模型在组织中可能会有广泛的解读,并且没有考虑到与数据解决方案相关的业务价值。相反,它们侧重于数据能力的发展,而这并不总是能很好地转化为高层管理的需求。我更倾向于关注业务价值,而不是组织与成熟度模型之间的对比。
本书将不会深入探讨数据货币化的工作。数据货币化的经济学在 Doug Laney 的《信息经济学》一书中有深入的描述,我强烈推荐任何有意深入了解数据货币化的人阅读他的书。
数据治理组件的简要概述
现在我们已将数据解决方案分为资产和负债,并定义了如何计算价值,让我们进一步深入探讨各个组件。我倾向于将数据治理的组件分为构建块。我喜欢这种方法,并在几家公司中采用了这一框架,因为它使组织能够将每个构建块直接与特定且简单的结果联系起来。第一个构建块,政策与标准,相对基础,可以由一个小团队设计。这是启动数据治理项目的一个好地方。
政策与标准
这一构建块的目的是定义数据所有权和设计管理组织数据资产所需的责任结构。这个构建块将确保公司能够依赖的有效、可持续和标准化的数据治理。这一构建块是未来构建块的前提,因为它定义了需要什么来推动有效的数据治理,以及谁需要参与其中。此外,这一构建块的组成部分可以简化创建,并可以随着公司在数据之旅中的成熟而扩展。
一个简单的起点是草拟一份简洁明了的数据治理政策。数据治理政策的目的是告诉公司需要做什么、为什么要做,以及由谁负责。
强有力的数据政策的目标包括以下几点:
-
建立统一的数据管理政策和标准
-
建立政策范围内的能力和数据资产,进而为首席数据与分析官办公室提供支持
-
定义实施政策和数据管理能力运作的责任和职责
-
为数据管理设置最低标准,特别是针对治理、质量、元数据和主数据管理
-
定义推动一致、稳健地采纳最低标准的工具的程序和使用要求
-
在适当的情况下提供灵活性,以便在可能的情况下简化实施
-
定义政策的适用范围外的内容
与任何政策一样,明确数据治理政策的负责人非常重要,该负责人将负责管理政策,至少每年更新一次内容,并向公司传播该政策。负责人还需确保得到公司各关键利益相关者的支持。理想情况下,负责人应为首席数据官、数据治理负责人或类似职务。如果公司尚未设立此职位,可以考虑由首席信息官、首席信息安全官、首席隐私官或甚至是法律顾问来担任此角色。
一份政策不需要过于冗长才能有效。理想情况下,政策应当阐明基本内容,并通过更具体、更聚焦的主题数据标准来支持该政策。这种方法通常能让政策通过更正式的公司治理审批流程,同时允许在组织逐步成熟的过程中,对数据标准进行稍微更易更新的处理。我建议为本书第二部分中涉及的每项核心能力实施数据标准,并且针对你的业务需要额外指导的数据利益相关者提供具体要求。记住,政策设定了公司最低的期望。
为开始制定数据治理政策,建议的政策大纲可能包含以下内容:
-
目的和范围声明(例如,通过创建额外的收入来源并同时减少数据风险,来转变公司如何利用数据)
-
负责人(例如,首席数据官)
-
审阅者/贡献者及职务(例如,IT 负责人、首席运营官和数据管理人员)
-
签署/批准(例如,首席执行官、首席财务官等)
-
数据 治理要求
-
实施的角色与职责
-
反馈环路用于改进 和/或新增
-
成功的衡量标准
-
合规/审计期望 及频率
-
术语表
数据治理政策示例
以下是企业数据治理政策的示例:
负责人:首席数据与分析官
最后批准:2023 年 12 月 31 日
政策负责人:数据治理负责人
贡献者:
-
信息技术负责人/首席信息官
-
人力资源负责人/首席人力资源官
-
市场营销负责人/首席营销官
-
销售负责人/首席营收官
-
产品/业务单元负责人
-
产品/业务单元数据管理员
目的 和范围
本数据管理政策适用于公司持有或处理的所有数据,可能包括客户数据、交易数据、财务信息、监管和风险报告,以及与公司业务相关的任何其他数据。这些数据可以是第一方数据、派生数据或来自其他公司的数据(第三方数据)。此政策的结果包括:
-
降低风险
-
解锁收入机会
-
提高运营效率
介绍
公司负责确保所有数据的准确性、完整性、安全性,并且仅允许那些需要访问以履行工作职责的人员访问。此政策规定了企业在上述结果下交付的要求。
数据治理
数据治理在前述政策和范围部分中为所有被认为“在范围内”的企业数据确立了要求和标准。此政策下建立的数据治理能力旨在推动公司数据的透明度和问责制,并推动数据管理、存储和使用的一致性、控制和监管的改进。
角色 和职责
-
企业数据委员会:将设立一个由首席数据与分析官主持的企业数据委员会,负责提供监督和优先级管理,管理数据和分析项目,并解决全企业范围内的问题。数据领域执行者将被要求参加该委员会,确保在所有数据领域之间的优先级安排得当。
-
首席信息官将与首席数据与分析官合作,确保为组织的数据和分析需求提供技术要求和系统支持,不仅为首席数据与分析官办公室提供支持,还为所有职能数据领域提供支持。
-
每个职能领域将设立一名数据领域执行者,以确保为管理数据提供适当的关注、资金和资源支持,符合本政策以及业务需求。
-
数据管理员将由每个数据领域执行者分配,以确保数据要求的日常执行按照政策和业务需求完成。数据管理员还需要与首席数据与分析官办公室合作,以确保在领导层、监管机构和各个领域之间保持透明度和持续的运营效果。
要求
本节提供了合规性的最低期望。
数据治理
每个数据领域将制定一个计划,以推动合规性并将政策要求落地实施。数据领域执行者将确保适当的优先级安排,而数据管理员将代表数据领域执行者执行计划。此外,技术数据管理员将支持所有技术要求的交付,以确保符合本政策以及更广泛的业务需求。最低要求如下:
-
识别所有数据资产和系统
-
为每个资产和系统识别所有数据和技术数据管理员
-
将每个资产和系统分配到适当的数据领域
-
制定计划,满足每个资产和系统的要求,并确保今后的合规性
数据目录管理
数据目录的目的是在整个组织中集中管理和发布业务和技术元数据,以便以清晰、透明的方式加速发现可用的数据。随着数据目录的实施,首席数据与分析办公室将评估元数据,以确定给定数据资产的最佳数据源,并识别减少公司内部数据扩散和冗余的机会。这样可以随着时间的推移进一步简化我们的数据生态系统,并减少重复数据处理/管理和存储的成本。最低要求如下,在企业数据目录中发布:
-
数据资产/系统的描述
-
技术元数据
-
架构和表的描述
-
关键数据元素(CDE)的识别
-
关键数据元素(CDE)的业务定义
-
根据公司数据分类政策,对资产/系统中所有数据元素进行分类
数据质量
数据质量的目的是确保数据适合使用。为了集中制定数据质量规则、提供分析资源和工具,并监控数据卫生,确保数据可以用于分析和业务使用并且可以信任,已经设定了以下要求,以识别需要披露和/或修复的问题。最低要求如下:
-
为每个关键数据元素(CDE)定义数据质量规则,并将其输入到企业数据质量工具中
-
启用关键数据元素(CDE)的数据质量监控
-
提供数据质量仪表盘,透明地报告当前的质量水平
-
识别数据质量问题,并制定计划解决重要的数据质量问题
政策管理
-
反馈循环:关于政策的反馈和/或政策实施的疑问应直接提交给上面定义的政策负责人。
-
成功衡量标准:将为每个数据领域和公司层面建立一个强大的企业数据治理评分卡。定期报告遵守该政策的进展情况,并向首席数据与分析官办公室和企业数据委员会报告。可能还需要进一步的成功衡量标准。
-
合规性/审计:内部审计、外部审计和监管机构可能会定期审计此政策的合规性。所有审计请求应向首席数据与分析官办公室披露,以便协调并通过企业数据委员会推动审计请求。
-
频率:该政策将至少每年进行一次审查、更新和重新批准。
现在我们已经回顾了一个优秀政策的组成部分,让我们转向数据治理计划的关键角色和职责。
角色和职责
任何数据治理专家都会告诉你,人员是成功数据治理计划的关键。人员负责关心数据,确保其准确性,适用性,并且如何改进数据,使其变得更好。这个概念被称为数据管理。数据管理需要合作才能推动成功。为每个数据领域指定的高层管理人员会任命数据管理员来推动该数据领域的日常活动。
数据管理员的主要职责包括以下内容:
-
作为数据领域的单一领导点
-
确保数据领域的高层管理人员了解关键活动
-
确保为充分的数据管理提供必要的资金,并将其合理分配到数据管理活动中
-
收集数据领域的需求,并执行数据领域内的数据管理要求
首席数据与分析官办公室的主要职责包括以下内容:
-
定义数据政策、发布政策,并至少每年进行一次审查更新
-
引导数据领域的高层管理人员和数据管理员理解需求,确保全面了解
-
提供数据工具以推动企业范围内的数据管理能力
-
尽可能简化合规性操作
-
定期向执行团队汇报,并在必要时向监管机构和董事会汇报
重要说明
数据治理中最困难的部分之一是获得所需的合作,以推动组织利用其数据取得所需的成果。
在我曾经工作过的每家公司中,初衷几乎总是好的:人们希望合作。数据治理专家希望合作以推动成功;然而,竞争的优先级、缺乏明确的愿景以及很难衡量数据治理计划的影响,通常导致数据管理被放在了次要位置。最终,成功推动数据治理计划的组织认识到良好数据治理的重要性,并且意识到这不仅仅是理解记录、字段和表格。他们认识到,这不仅仅是建立另一个数据仓库。他们认识到,人是成功的中心,确定那些对强数据负责并需要承担责任的个人,是任何数据治理计划的基石。
为了确保数据质量,数据管理员必须是优秀的。优秀的管理员对数据的质量、访问权限和整体管理负责。我曾与之合作过的最佳数据管理员确保每一步治理过程都能获得业务用户的支持,因为数据治理的目标不仅仅是清洁数据;而是让数据的用户能够自信且轻松地使用数据,以实现他们的业务目标。
让我们通过两个例子来进行比较说明:
-
示例 1:一位业务用户,A,需要数据 X 以向监管机构报告。在一个治理良好的数据环境中,A 可以前往企业数据目录,在那里搜索数据 X。A 找到他们需要报告给监管机构的度量标准,但他们有几个问题。在目录中,B 被标识为数据管理员。A 可以联系 B 提问并了解更多关于数据 X 的信息,以确认它是适合与监管机构分享的度量标准。
-
示例 2:这里有一家公司,几乎没有数据治理。业务用户 A 需要获取数据 X 给监管机构,但不知道从哪里开始。没有数据目录,所以他们问他们认为可能了解数据的 C。C 建议 A 联系 D。A 拨打 D 的电话,依此类推。几天甚至几个月过去了,A 并不确信他们拥有正确的信息来提供给监管机构,但还是提供了他们知道的最佳信息。最终,由于 A 对数据缺乏信心,监管机构对数据也没有信心。
通常,将组织中的数据管理员对齐比说起来容易做。开始时最简单的方法之一是从高管层开始。我将这些人称为 数据领域高管。这些人最终对其所在部门负责的数据负责。例如,首席人力资源官(CPO)被指派为人力资源数据的数据领域高管。这将使 CHRO 对人力资源数据最终负责。CPO 会将日常活动委派给他们的数据管理员,后者负责确保人力资源数据按照数据治理政策和标准进行管理。
作为数据治理计划的一部分,首先要做的活动之一是识别组织的数据领域高管。根据我的经验,将数据按逻辑类型定义为数据领域,并指派数据领域高管是最好的起点。在定义数据领域和数据领域高管后,您将有负责整个组织数据的高管被命名。这些个人应该组成您的赞助人,如果您选择成立一个企业数据委员会或理事会,他们应该成为您的投票成员:
图 1.3 – 数据领域高管和数据/技术数据管理员的识别
根据组织的规模,您可能会在数据管理的业务方面增加第三个关键角色。对于较大的组织,您可以考虑设立一位更高级别的人员担任数据领域经理。该人员将承担前面章节中描述的数据管理员角色,并且通常与多个数据管理员有 1:M 的关系,数据管理员可能直接向其报告或与业务方面有虚线关系。我曾在一家组织工作过,我们为该组织的部门设立了数据领域经理,并为每个子小组定义了数据管理员。如下所示:
图 1.4 – 数据领域任命示例
治理论坛
企业数据委员会是一种有效的方式,可以使组织围绕数据战略和数据治理计划达成一致,并作为优先级和升级机构。每个参与委员会的数据领域高层应该指派一名数据管理员,推动其数据领域内的活动。通常,组织会建立子小组(例如,人力资源数据委员会或人力资源数据工作组)来实施和持续治理各自的领域。这使得数据治理活动能够在组织内更深层次地实施。首席数据官(或同等职位)应当担任该委员会主席,并负责管理议程、节奏和会议主持,以及向 C 级高层和董事会汇报进展。
图 1.5 – 各种数据治理论坛如何协同工作的示例
重要提示
如果您发现企业数据委员会被下放到数据领域高层以下,可能存在问题。委派一次可能不成问题(例如,因度假);但是,如果您开始看到某一领域或整体上有这种模式,这就意味着委员会没有提供价值。请迅速联系数据领域高层,了解是什么原因导致了委派。只需问:“我注意到您已将最近几次的 EDC 会议委派给了您团队中的某个成员。我能做些什么,让会议对您更具吸引力吗?您的观点对整个委员会至关重要,我想确保这对您的时间是一种有价值的利用。”
数据治理项目中可能还会有其他关键角色,包括业务单元利益相关者(通常是数据的使用者)和信息技术团队。我们将在第二部分深入探讨元数据章节,但现在,我也在前面的图表中加入了 IT 应用负责人(见 IT)。在任何项目中,IT 应用负责人都在数据治理项目的成功中发挥着关键作用。IT 应用负责人是负责执行企业数据治理政策及数据领域执行官或其代表设定的任何数据治理要求的个人。我们将在第三章中深入讨论操作模型。
治理进展报告
理想情况下,随着实施的推进,企业数据委员会应收到持续的报告,以展示数据治理的改进情况。一种报告信息的方式是使用企业数据治理评分卡(EDG 评分卡)。EDG 评分卡应提供公司在实施数据治理能力方面的透明状态,以及在实施后这一能力的持续情况。最终,EDG 评分卡应向用户传达公司在使数据更易查找、理解,并最终信任方面的进展。
在尝试为整个公司设计和实施 EDG 评分卡之前,我建议选择一个数据领域进行该过程的试点。我更倾向于从一个数据治理实践至少比其他领域稍微成熟的数据领域开始。大多数组织中,财务和/或合规报告通常是一个更成熟的数据领域。通过试点数据领域,其他数据领域的执行官(构成企业数据委员会的成员)可以了解 EDG 评分卡的样子,以及他们应该如何在各自的数据领域中实施它。
示例实施度量标准
应该定义度量标准,以衡量数据管理政策的实施情况以及能力的运营效果。为了衡量跨领域的政策实施情况,每个领域应定期(根据组织预期,每两周、每月或每季度)衡量进展并将其报告给首席数据与分析官办公室。
首席数据和分析官办公室的示例如下:
-
数据领域的总数(这将成为以下度量的分母)
-
确认/识别了数据领域执行官的领域数量
-
确认/识别了数据管理人员的数据领域数量
-
确认了系统记录的领域数量
-
已分配系统记录所有者的系统数据领域数量
-
每个系统记录的关键数据元素数量
-
为每个记录系统编写并执行数据质量规则的领域数量
-
为每个记录系统建立业务词汇表的领域数量
-
为每个记录系统建立数据字典的领域数量
-
为每个记录系统采纳参考数据的领域数量
使用案例
一家大型跨国公司有七个业务单元和四个企业职能部门。为推动数据、分析和人工智能的使用,成立了首席数据与分析办公室。作为办公室第一年战略的一部分,CDAO 组织了一个专注于数据管理成熟度的团队。在此重点下,企业数据治理负责人被指派正式制定数据政策,并制定一个评分卡来跟踪其实施。
企业数据治理负责人制定了企业数据政策,以确立组织的期望,并定义了关键角色和职责,以推动政策的合规性。团队识别了 12 个数据领域:每个业务单元一个,财务数据一个,风险数据一个,市场数据一个,员工/人力资源数据一个,以及由 CDAO 负责的主数据和参考数据一个。
为了跟踪在 12 个已识别领域中的实施进度,专门为首席数据与分析官办公室制定了以下评分卡。此报告每两周更新一次,并向执行团队、数据领域高管及数据管理员报告,并在企业数据委员会会议中每月进行审查。
图 1.6 – 首席数据与分析办公室的数据治理评分卡示例
数据领域/数据管理员的示例包括以下内容:
-
分配给数据领域的记录系统总数(此为以下度量的分母)
-
已识别关键数据元素的记录系统数量
-
已编写并执行数据质量规则的记录系统数量
-
已建立业务词汇表的记录系统数量
-
已建立数据字典的记录系统数量
-
已采纳参考数据的记录系统数量
每个数据领域应跟踪各自的度量,并每两周向首席数据与分析官办公室提交报告。
人力资源数据领域实施评分卡所有者:首席人力资源官主要联系人:人力资源分析副总裁目的:以下评分卡旨在报告实施企业数据政策核心要求的进展情况。已识别并建立了 12 个数据领域,以管理公司的数据。以下评分卡用于监控人力资源数据领域的采纳情况。 |
---|
已识别 CDE 的系统 |
2 of 5 |
40% |
状态:绿色—正常进行 | 黄色—存在风险 | 红色—逾期 |
图 1.7 – 数据领域数据治理得分卡示例
实现成功所需的相关团队和能力
没有任何数据团队能独立运作。要在实施中取得成功,合作伙伴关系是你最宝贵的技能。你需要与一系列关键职能建立强大且可持续的关系。首先是业务职能。你必须与每个支持的业务职能建立信任。这一过程始于并结束于深度倾听。深度倾听要求你仅以学习为目的进行倾听。你是在倾听以学习,而不是为了回应。你的业务职能领导者会告诉你他们的需求,你的任务是倾听并能将他们的需求带回数据团队,以便传达并制定数据战略。随着你按他们的需求交付,信任将逐步建立。最初,不论他们过去与数据的经验如何,倾听他们的意见是最重要的起点。
信息技术
你公司的信息技术团队 (IT 团队),由首席信息官(CIO)领导,可能会通过至少提供支持团队数据解决方案的基础设施来帮助你的成功。你与 CIO 及其关键领导者之间建立的关系对你的成功至关重要。我发现,CDO 与 CIO 之间关系的质量是 CDO 成功最有力的指标之一。在 CDO 和 CIO 之间有高效且信任的关系时,我见证了两位领导者的成功。而在关系不高效,甚至最坏情况下是竞争关系的情况下,两位领导者的成功都会受到阻碍。
信息安全
此外,随着 CISO 角色的崛起和正式化,以及所有行业日益严峻的威胁形势,CISO 的重要性从未如此之高。数据权益方程式中的责任部分的核心要素之一是保护公司数据。这自然体现在数据安全方面,但也涉及并与技术元数据管理紧密连接。简而言之,如果你不知道数据在哪里,你就无法保护数据。技术元数据是支持了解你拥有何种数据、数据存储在哪里、数据如何流动、如何分类数据,并确定需要采取哪些控制措施来妥善保护和确保数据安全的关键因素。我们将在第六章和第七章中详细讨论这一话题。作为数据领导者,这一能力将促进你 CISO 的成功,因此,我建议你在整个数据治理实施过程中,早期并频繁地与他们进行合作。
首席财务官
在你建立关系并最终建立利益相关者名单的过程中,我鼓励你同时考虑业务职能和公司职能。你的利益相关者应包括前面提到的首席信息官(CIO)和首席信息安全官(CISO),以及首席财务官(CFO)、隐私负责人、总法律顾问、人力资源和运营部门,除了业务职能之外。如果你从事技术领域工作,产品和工程领导者至关重要,而在金融服务行业,风险管理和监管机构等小组可能具有相关性。关键是要从整体上看待公司,包括所有数据的管理者和用户,并识别出你需要合作的关键领导者,以实现有效合作。大多数未能成功的资料领导者,失败的原因通常是因为他们未能建立关系和/或未能通过创造价值来建立信任。
人力资源
你的人力资源领导者将是关键利益相关者和战略合作伙伴,帮助你设计组织结构并制定人才管理的招聘、培训和留人战略。
隐私和法律
隐私和法律团队将是推动你团队实现许多能力的关键。例如,虽然法律团队应该定义数据保留标准,隐私团队应该定义信息分类类型(例如,私人或公司机密),但你们团队的责任是根据这些政策实施发现、清单和自动分类数据的能力。GDPR 或 CCPA 等法规推动了各行各业的大部分这项工作,但其他行业也有特殊的考虑,例如 BCBS 239 或 HIPPA。务必与法律和隐私团队合作,找到正确的相关法规。
此外,要注意,新兴的州级法规正在迅速出台。本文写作时,美国爱荷华州是最近出台隐私法的州,该法律将于 2025 年 1 月生效。
定义价值
当你开始制定未来愿景时,重要的是要考虑你与利益相关者互动中收到的所有反馈。在接下来的章节中,我们将共同努力,制定商业案例、建立支持联盟以及组建团队,值得注意的是,没有两家公司会有一致的成功愿景或战略。你需要以全新的视角看待每个机会。尽管我曾在三家财富 500 强公司领导过数据转型,但每一次的数据战略都需要独特的视角。公司都有各自追求卓越的旅程,即使是最成熟的公司也需要在数据治理能力上进行改进。你必须从这个角度来评估每个情况,否则你将冒险在开始之前就采用错误的战略。
需要见面的人员
在为公司定制愿景时,仔细建立你的利益相关者名单,正如前面章节所介绍的那样:
-
公司的业务部门有哪些?
-
谁领导每个部门?他们是否有你也应该见面的首席工作人员或首席运营官?
-
这些利益相关者各自负责哪些公司职能?每个职能由谁领导?
-
组织内的资金如何分配?了解这个流程,并找出谁在影响资金的释放。
你在回答前面问题时列出的所有个人都将成为你制定愿景、商业案例并开始传播愿景时需要接触的关键人物。许多这些人未来可能会成为数据领域的高管。
图 1.8 – 域模型与公司组织结构图的示例对齐
重要提示
CDAO、CPO、CMO 等职务也会有与之对接的领域经理、数据管理员和技术管理员。
在第一次接触时,简单地倾听他们的业务优先事项。这不是解决方案的时机,你是在收集事实和意见,以便将这些作为未来愿景的输入。做详细记录。在会议结束前,要求安排 4–6 周后的跟进会议,届时你将根据他们的反馈和意见,提出你团队的使命、愿景和目标。
重要提示
在你的组织中,数据领域的高层管理人员应该距离首席执行官(CEO)不超过一位或两位。如果你的数据领域高管距离组织高层过远,无论你的组织规模有多大(50 人或 50 万人),你的项目将会被稀释。你必须创建一个明确的价值主张,清楚地定义为什么高级领导者必须共同推动这项工作。如果将其推得太低,你将有失去 C-suite 的优先级、资金和专注力的风险。理想情况下,直接向 CEO 汇报的人应该是你的数据领域高管。在大型组织中(即员工 50,000 人或更多),CEO 减去两级的层级可能是合适的。
制定一个有力的“为什么”声明
一个有力的愿景声明不仅仅是为首席数据与分析官而设,而是为公司整体的数据与分析能力而设。在起草愿景声明时,要清晰简洁地阐明你对公司未来使用数据和分析的愿望和目标。考虑以下问题:
-
你希望做什么?
-
谁会帮助你实现这一目标?
-
你怎么知道自己何时达成目标?
一个有力的愿景声明应该清晰、简洁且易于理解和沟通。它应该直截了当,不使用行话(避免“数据语言”)。声明应该集中于未来,具有激励性和理想性,将所有利益相关者凝聚在一起,共同朝着这个理想的未来努力。确保它简单、简短且易于记住。它应该容易被记住。尽管着眼于未来,但它应当是可以实现的,并与公司的价值观保持一致。
重要提示
让我们考虑一个例子。假设你是一个领先保险公司的新任首席数据与分析官。你可能会拟定一个愿景声明,比如:
洞察力嵌入在业务流程中,依靠高度信任的、相关的和经过筛选的数据,以满足我们主动为客户提供令人愉悦且有意义的时刻的需求。我们相信我们的数据,而我们的客户也信任我们。
定制信息传递
在你制定愿景声明时,带着它去与你识别并会面的领导们的一对一会议。单独与他们分享,并征求他们的反馈:
-
它符合公司战略方向吗?
-
它具有远见吗?
-
它会激励你的团队成员并驱动对未来的有意义关注吗?
-
这对你的需求有意义吗?
-
你会做出什么改变?
在与你们这些人一起审阅时,要倾听并采纳反馈。你保持开放心态并考虑他们意见的程度,将直接影响他们的支持度。这并不意味着你必须采纳每一个细节,但你应该认真考虑,并与每个人沟通,感谢他们的支持,解释你所做的改变,未做的改变及其原因。至关重要的是,对于你没有做出的任何改变,要与他们关闭反馈循环,仔细解释为什么这些没有被采纳。这种透明度将建立与利益相关者的信任,而这种信任可以随着时间积累。
在你修改并最终确定了愿景声明之后,是时候提交最终审批了。我建议你在企业数据委员会会议中纳入审批流程,以进一步确立这一愿景不仅仅是首席数据与分析办公室的,而是整个公司的。通过让公司参与这一过程,你是在设定一个先例,即数据是每个人的责任,尽管最终首席数据与分析办公室负责落实。
数据治理作为战略推动者
在你开始构建数据治理业务案例之前,必须了解公司正在推动的业务成果。为了起草数据目标,你需要首先了解整个公司的战略。如果你还没有相关资料,要求获取公司战略的副本,并提出问题以确保完全理解它。然后,与数据领域的高层一起工作,了解他们的优先事项以及他们的业务单元或公司职能如何推动公司战略。为了创造公司所需的价值,他们需要达成哪些结果?最终,这些结果的定义将支持更广泛的公司战略,并促成对组织成功至关重要的业务成果。
关键是你必须定义一个清晰的路径,明确展示数据和分析将如何推动你的公司发展,而不是拖慢进程。通常,当人们听到“治理”这个词时,他们会将其与官僚主义、摩擦和进度延缓联系在一起。你必须展示你和你的团队将如何增值并赋能业务,同时不对进度产生负面影响。至关重要的是,你需要定义一个使命和明确的目标,清楚地展示这一点。
首席数据与分析办公室的使命
首席数据与分析办公室的目的是通过数据与分析解决方案推动所需的业务成果。它不是站在业务一边,而是通过与业务共同合作来实现组织成果。它是结果的加速器。成功由业务成果决定,因此,首席数据与分析办公室必须将其使命定义为此。首先,定义你的团队在业务中要做的事情。它可能包含如下指导原则:
-
激发企业思维
-
通过洞察力驱动业务成果
-
定义并实施通用数据与分析解决方案的交付模型
-
策划解决方案,在业务需要时提供洞察
-
确保业务在设计时就嵌入治理,成为流程的一部分
-
通过自动化提高运营效率
-
创建收入来源或加速收入生成周期
-
降低风险并整改合规问题
最终,你和你的团队应该制定一份强有力的使命声明,涵盖你们为公司提供的全方位服务。思考一个问题:我们的意图是什么?
重要提示
让我们考虑几个示例使命声明:
-
赋能公司,提供及时、可信和相关的洞察,推动收入达到 10 亿美元及以上。
-
首席数据与分析办公室将为 XYZ 银行解锁收入,提升效率,并降低合规风险。
数据治理计划的使命
在定义了首席数据与分析办公室的使命之后,接下来需要定义数据治理计划的使命。数据治理计划需要考虑你需要为公司解决的问题以及你打算如何解决这些问题。该计划应作为推动者和合作者,帮助公司以服务其广泛利益的方式解决问题。它可以简单到以下内容:
我们通过做 A、B 和 C 来为 Y 做 X。
“我们通过在平台中实现设计治理,推动数据管理解决方案,并在关键时刻提供可信赖、精心策划的数据解决方案,为所有公司职能提供企业范围的数据治理能力。”
确定支持公司数据与分析战略交付所需的项目、程序和预算。在我们进入本书的第二部分并深入探讨每项数据治理能力时,思考一下你所在公司当前的状况。这些能力是否存在?存在的程度如何?你看到哪些差距?这些差距将成为你的项目、计划和交付物。我建议你在第四章中回顾本节内容,作为组织的基准。
为公司建立业务案例
在与前面章节中识别的利益相关者会面并根据他们对愿景声明的反馈进行迭代时,正是询问他们哪些做得好的时候,哪些可以改进,未来一段时间的优先事项,以及他们团队面临的一些紧迫挑战的最佳时机。我经常发现,向公司各个关键领导提出开放性问题,并深入倾听他们的经验,对于发现推动数据治理为他们创造价值的机会非常有帮助。
例如,如果某个利益相关者告诉你,他们在董事会会议中很难应对,因为 CEO 总是质疑他们的数据,你可能有机会帮助他们。花时间拆解报告过程、报告中的指标、指标的定义、计算方式、来源以及数据本身的质量,可能会揭示出向董事会报告存在问题。相反,这个过程也可能证明数据是准确的,现在这个利益相关者就有了来自你这个数据组织领导者的有力支持,可以证明报告的准确性。通常,数据在证明无误之前是“有罪”的。支持你的利益相关者,帮助他们提供可靠且高度信任的数据,以便向董事会交付他们的成果,这是你的荣幸。务必以相应的态度对待这段经历。
无论你的利益相关者告诉你什么,这些对话的关键是倾听。利益相关者很少会直接告诉你他们需要更好的治理,或者需要更强的技术元数据,或者需要团队更频繁地对数据进行分析。他们不会用这些数据术语和你交流。他们会说没有人信任报告,或者我在需要的时候拿不到我想要的数据。他们给出的只是症状。你的任务是识别根本原因,诊断问题,并解决潜在的核心问题:数据治理。
在执行这些深度倾听会议并了解同事们面临的挑战时,开始识别出共同的主题。保持详细且有条理的笔记对你非常有帮助,这样你不仅能轻松回顾过去的记录,还可以开始将类似的问题归类。以之前的例子为参考,也许你会听到多个利益相关者反映,报告中的结果看起来相似,但数字实际上是不同的。高层管理团队现在开始质疑数据和领导者。你现在知道,数据治理业务案例的一个关键组成部分将集中在高层管理团队的关键指标对齐上。你需要强大的元数据功能(第六章)和数据质量(第八章)来帮助你,同时还需要强大的报告和/或数据分析师来推动这种对齐。最重要的是,你需要将大家聚集在一起,推动一致性。
在你准备撰写业务案例时,你的倾听会话将产生一些主题,你的交付将围绕战略实施能力和迭代交付(有时被称为快速胜利)展开,以展示在整个交付过程中的进展。当你构建你的业务案例时,一定要突出你将要构建的基础模块(即本书第二部分的内容)以及你将要进行的迭代交付,这些都是推动战略旅程中的影响力的关键。随着你根据已识别的主题,逐步为你的数据领域高管交付,你将把挑战转化为胜利,把反对者变成支持者,你将成为公司所需的可信顾问,从而为整个公司提供卓越的数据治理。
当你开始构建业务案例时,你将按迭代方式进行,就像我们在本书中所做的那样,有个好消息:你已经取得了一定的进展。前面提到的项目是你业务案例的关键组成部分。你需要包含以下内容:
-
你公司的战略愿景和目标
-
你团队的使命声明
-
你数据治理项目的使命声明
-
你的强大目标
从这里开始,你可以着手构建你为业务案例启动的项目框架。在此时,你可能还不知道大部分项目的具体内容;然而,你可能已经通过利益相关者倾听会话开始识别出一些主题性问题或挑战。或许你已经知道公司没有数据目录,或者没有透明的数据质量衡量方式。你可以开始规划出你需要交付的能力,并将这些能力作为“项目”来推进。
我倾向于使用备忘录格式来定义业务案例。六页的备忘录是一种非常有效的格式,可以在不失去观众注意力的情况下深入传达内容。一些公司使用幻灯片来展示业务案例。你需要确定哪种格式最适合你公司文化。无论你决定采用哪种方式,写备忘录是确保你在进入业务案例过程时思路清晰的一个良好练习。最终,业务案例的写作质量将决定你从利益相关者那里获得的支持程度和资金程度。业务案例的示例模板可能看起来如下所示:
图 1.9 – 业务案例模板
我建议你现在就把这个框架整理好,在我们接下来的书籍内容中,逐步填写出你公司所需的业务案例。当你从与利益相关者的会议中收集信息时,做些笔记,并开始逐步构建你的业务案例。
你已经拿起这本书并开始阅读,这是你旅程中的一个重要步骤。继续一章一章地阅读,并根据需要执行各个步骤。你可以根据自己公司需要的节奏,快慢自如地进行。将其作为参考、指南,最重要的是作为如何大规模交付强大数据治理的框架。在进入下一阶段之前,我们需要讨论一个最终的约束条件:何时以及何时不启动你的项目。
何时以及为什么启动数据治理项目
虽然数据治理项目可以随时启动,但成功的项目通常会精准地选择与其他相关业务项目的启动时机,并确保其影响对高层管理团队非常清晰,不仅是在单个项目中,而是作为一整套转型计划。如果管理层没有强烈的需求,未完全认同,或者过于分心(例如,正在进行一场大型的并购),你将无法成功启动项目。换句话说,时机很重要。
花时间了解你的业务、挑战、政治环境以及正在进行或即将启动的其他关键战略转型项目。与同行对齐,确保在任何业务职能和运营中都获得支持。然后,计划你的启动。如果没有掌握好时机,你将不得不重新启动项目,根据我的经验,这通常是一个非常困难的过程,通常需要新的领导者。
为什么你现在应该启动
有一些原因促使组织投资数据治理。虽然没有完美的时机,但通常有一些常见的原因:
-
监管:有多种监管原因可能促使你的公司实施数据治理项目。例如,在金融服务行业,大型全球系统重要性银行(GSIBs)被要求遵守 BCBS 239,这推动了早期对数据治理在风险报告中的关注。
-
危机:数据泄露是另一个常见的数据治理项目驱动因素。尤其是在公司没有很好地掌握其所有数据的位置、分类方式,或者没有信心自己已妥善保护数据时(你无法保护你不了解的数据)。
-
高层需求:高层管理团队已经意识到他们需要更多的数据,并愿意资助一项转型,以使你能够满足他们的需求。
-
业务需求:有一个关键且明确的业务需求,且已得到充分资助。
-
实验性:公司希望探索数据能力,并已经设立了一个资金池来支持这一领域的实验。你有权限使用这些资金来展示可能性的力量。
为什么你可能想要等待
最后,执行管理层愿意庆祝快速、迭代的胜利,这些胜利与长期的路线图以及充足的资金相一致,这一点至关重要。项目不会一夜之间成功,你必须与现实对接,理解一个长期、可持续的数据驱动文化需要不断的投资和支持。最终,如果公司不明白自己想要什么,或者没有做好准备为此提供适当的资金,你就不应该推进大规模的转型来建立强有力的数据治理。以下是一些需要关注的警告信号:
-
高管请求:高层管理团队已经意识到他们需要更多的数据,但他们并不理解转型所需的条件,以及你为了成功所需的资源。
-
业务请求:业务方有一个关键需求,但他们并没有明确界定这个需求,也没有为交付留出资金。
-
实验性:公司希望探索一些能力,但并不知道实现这些能力所需要的条件。
-
未定义:公司希望建立数据和分析功能,但没有完成完整功能的建设
这家公司永远无法完成数据转型的工作。这就像是锻炼一样。就像你不能为了一个比赛而锻炼,然后就声称自己一生都保持了健康,回到沙发上坐着,期待能够保持锻炼的效果。花时间提前为项目争取支持和资金。你的成功和公司的成功都取决于此。
如何构建交付时间线
一旦你为商业案例构建了框架,并决定了需要哪些能力,你应该提出一些时间线和资金选项。我发现最好向管理层提出三个选项,这样你可以进行健康的讨论,讨论应该做什么,做得多快,以及公司愿意花多少钱来交付。
选项#1——你首选的时间线
开始构建你的最佳时间线。如果交付内容由你决定,并且你能获得足够的资金按你认为合适的节奏进行工作,那么这个时间线是什么?你什么时候会发布新功能?每个发布后公司能做什么?
选项#2——快速且昂贵
构建一个能更快速交付的选项,但可能需要更多的资源(资金、员工人数或顾问参与)。这个选项能够更快地实现价值,但同时也带来了成本的增加。
选项#3——缓慢且便宜
最后,构建一个需要更长时间但成本较低的选项。根据我的经验,这通常是高管们一开始就会直接否决的选项。一旦他们决定推动数据战略,他们就希望看到结果。将这个选项列出来,能表明你经过深思熟虑,考虑了所有的选项,尽管这不是你的首选,但你考虑到了其他人的期望。
你还可能会发现,在这些审查讨论中,可能会产生一些不同的选项组合。要保持开放的心态。如果管理层投入时间和精力与你一起审查这些选项,这是一个好兆头。倾听他们的反馈,并愿意提出替代方案。最终,你的目标是获得支持和资金;你越灵活,获得支持的可能性就越大。
现在你已经拥有了建立数据治理计划和整合商业案例所需的框架和背景。在接下来的几章中,我们将深入探讨每个专题领域,这将为你提供设计一个强大的数据治理计划所需的细节,确保其为你的组织带来卓越的成果。
结论
在组织内启动数据治理转型之旅并不一定要困难。虽然可能需要一些时间并且需要支持,但你可以为你的组织建立一个强有力的数据治理职能。在这段旅程中,有几个关键步骤是你需要关注的,首先是确定一个数据治理负责人来拥有并推动公司的数据治理,这将为数据治理职能建立权威。你还需要定义在你公司背景下数据治理的含义,可以通过发布数据治理政策(以及必要时的标准)来实现这一点。通过建立明确的责任人(例如,数据领域的高管)、设立适当的委员会和工作组,并编写强有力的商业案例,继续推动这一政策的实施。
随着你逐步阅读本书的章节,我将引导你如何将数据治理融入你公司文化中,首先,通过建立一个支持者联盟。在第二章中,我将首先解释为什么联盟如此重要,如何评估潜在的支持者,以及如何收集广泛的支持。链接
参考文献
第二章:如何建立一个支持者联盟
可以说,启动一个能够产生影响的数据治理项目最重要的部分是获得对你项目的支持。考虑到全球数据创建的速度,公司运营的影响(如果管理得当,是积极的;管理不善,则不太积极)、数据滥用和误管理的风险以及随之而来的价值创造机会,数据成为一个有持久生命力的热门话题不足为奇。在我工作过的每一家公司,客户、员工和同行们都在各行各业提出一个非常常见且一致的问题:
我们如何建立对 我们数据的信任?
信任的概念是复杂的。你不能购买它。你不能指指手指就能创造它。创造它需要时间,而失去它只需一瞬间。将信任的概念应用于数据时有一个有趣的现象:数据的使用者往往假设数据是错误的,他们不能信任它,尤其是当数据与他们预期的不符时。我常开玩笑说“数据是有罪的,直到被证明无罪”,这往往是数据在实践中的处理方式。作为数据从业者,责任在于我们肩上,证明数据是可靠的并推动信任。我们的同事要求如此。我们的客户要求如此。这个责任由我们来承担。
但这远不止于“数据是否正确和可信?”因为我们的工作远不止于简单地报告。首席数据与分析官(CDAOs)是事实陈述者、架构师、工程师和货币化领导者。如果没有跨能力的广泛关注,CDAO 的角色就会仅限于报告。仅仅做报告是无法建立信任的。我们的工作是建立组织内的信任,不仅仅是报告中的信任,而是那些直接影响业务结果的数据解决方案的信任。
在麦肯锡最近的一项研究中[1],得出结论认为客户“认为可信度和数据保护几乎与价格和交货时间同样重要。”仅仅是价格合理或交货质量最高已经不再足够了。客户希望信任公司,并相信他们的数据在交易过程中以及交易后会得到适当保护。他们希望信任你会妥善处理他们的数据。数据量的急剧增加与客户对数据妥善保护的期望相结合,使得首席数据官(CDOs)/CDAOs 处于关于信任的新对话中心,且这一地位愈加重要。
没有压力。
从历史上看,CDAO 一直通过风险减少、运营效率和/或增加收入的视角进行工作。这种专注和对信任优先的需求要求我们采取一种全新的思维维度,并更加关注期望。我们如何在不断扩大的规模中,做好数据管理,同时满足客户、合作伙伴和员工的期望?我们如何将公司引导到数据治理卓越的旅程中?我们如何准确地在这个新世界中建立对数据的信任?
这一切始于你。我们必须与我们合作的人员建立信任。
本章将涵盖以下主要内容:
-
建立有影响力的关系
-
获得高层支持者
-
建立反馈循环
-
支持你的关键角色
-
如何赢得大众的支持
既然关系是建立信任关系和卓越数据解决方案的核心组成部分,让我们深入探讨如何建立有影响力的关系。
建立有影响力的关系
由于数据和分析是任何数字化企业的核心原则,CDAO 必须对与业务成果相关的可衡量结果负责。你为公司服务,覆盖全方位、上下层次。你必须从这个角度出发建立支持。在不深入探讨神经心理学基础的情况下,你需要建立的数据倡导者联盟,必须从建立对你的信任开始。你的同事和利益相关者必须相信你能够将混乱转化为秩序。他们必须相信你能够推动这种变革。最终,你在项目初期建立的关系可能会成就或破坏你的成功。根据Gartner的说法,“文化和素养是数据与分析领导者面临的两大障碍。”(《CDAO 如何在打造数据驱动型组织方面取得成功的 10 种方式》,2019 年 5 月 22 日,Gartner)。这两个术语“文化”和“素养”在数据行业中被频繁提及。
不受欢迎的观点:我不喜欢它们中的任何一个。让我们深入探讨一下:
- 文化被定义为“一个种族、宗教或社会群体的习惯信仰、社会形式和物质特征” [2]。因此,这不仅仅是创建一个数据文化,而是创建一个将数据作为公司文化基石的文化:以数据优先于意见、事实优先于感受。这是让数据成为公司日常运作的一部分——而不是作为一个独立的“数据文化”,而是融入公司整体文化之中。
数据文化的失败
根据我的经验,当 CDAO 推动“数据文化”时,他们传递的讯息是数据比文化的其他组成部分更为重要,我完全不同意这种做法。我曾见过一些 CDAO 因推动这一议程而失败。相反,将数据融入文化中,而不是作为一个独立的倡议,而是作为公司 DNA 的一部分,更为有效。
- 素养被定义为“能够阅读和写作;拥有知识或能力”[4]。因此,数据素养项目的目的是使整个公司能够读取和使用数据,并具备数据使用的能力;然而,启动数据素养项目往往会失败。相反,我建议将数据融入所有项目中(即政策培训、合规培训,并与技术培训并行,作为技术能力的一部分)。将数据相关的通识知识视为其他通用能力来对待,会让员工的学习过程更加自然,而为技术创造者(例如数据工程师)创建专门的培训,使这种重点更容易为公司接受。强迫高管团队参加“数据素养”项目/培训通常会让人反感,最糟糕的情况甚至让人觉得冒犯。找到一种让这种学习自然融入的方式,你会发现该项目更容易成功并被员工欢迎。
虽然有人可能建议你需要以强制和正式的方式在组织中创建数据文化,但我认为更实际、可衡量且恰当的方法是:建立信任。通过建立信任,你将改善整体数据文化并提升数据素养。不要犯启动“素养”运动或“文化”项目的错误。通过交付建立信任,文化自然会形成;数据驱动的决策会得到改善(例如,素养)。你必须将自己和你的团队确立为核心业务领导者的商业伙伴,而不仅仅是内部服务提供商(SPs),推动可衡量的商业影响。
- 信任被定义为“对某人或某物的品格、能力、力量或信任的有保证的依赖;对某事物的信任”[3]。我更愿意专注于建立对数据的信任,建立对我以及我团队能力和交付的信任,而不是专注于素养或文化。在我的经验中,专注于建立对数据的信任,比启动素养运动,是更高层次、更成熟的数据治理方式。素养是项目的一部分吗?当然是,但它只是项目的一部分。必须专注于建立一个受信任的数据治理项目,素养会随之而来。
因此,在本章以及本书的进一步内容中,我将专注于如何通过交付世界级的数据治理项目和解决方案,构建可信赖的解决方案,从而赋能数据驱动的决策。
建立信任
正如安娜·扬科夫斯卡在《福布斯》中所述:
“在你充分了解对方及其需求之前,你将无法提供价值。你的判断可能会受到偏见的影响,并且根植于之前的商业经验。而你需要提供一个完全客观且不带感情的视角。只有这样,你才有资格讨论他们的业务需求和痛点,并向他们展示你的解决方案如何提升 他们的表现。”
一次建立一个关系的信任
信任的建立发生在你与利益相关者的每一次互动中。他们不仅仅是看重结果中的信任——他们在建立对你能交付这些结果的信任。有几种方式可以带领公司走向建立数据信任的旅程。你可以将其作为合规性练习(即“棒子”方法),通过推动数据治理活动来实现,因为你“必须”做这些事情。你也可以完全依赖激励措施(即“胡萝卜”方法),通过激励来推动数据治理活动。或者,你可以建立一个支持者联盟,从各方面推动数据治理。后者显然是最有效的,也是最具持久力的方法。
这种方法还可以将责任从你一个人身上转移出去,并创造一个环境,让整个公司都参与到项目的成功中。换句话说,它使数据治理成为一项团队运动。在这个支持者团队中,你是队长,最终对项目的成功(或失败)负责,但你不再是孤单一人。
更传统的 CDAO 或 CDO 角色入职方法建议你与同行合作,跨职能地收集信息,横跨整个组织。但我发现,这种方法只会让你获得公司运作的一个过滤视角,因为你处于一个管理层级,而这个层级接受到的是经过过滤的组织视图。更广泛和更具包容性的方法包括以下内容:
-
横向:与组织内的同行进行交流(是的——这就是传统的方法)。
-
向上:与经理(可能是 C 级高管,可能是 CEO)和董事会进行沟通。
-
向下:倾听你的团队(直接和间接汇报的下属),了解组织内正在发生的事情以及你的机会所在。
-
横向:与各级别的更大群体交流,获得全面的理解。这可能包括在一个大型跨职能项目中工作的团队,或组织中其他部分的团队。选择这些群体时要有战略性,但要广泛地跨组织进行样本抽取,以获得更广泛的理解。
-
外部:与供应商、顾问以及离职的员工建立联系(包括你的前任,如果适用的话)。外部视角可以帮助你了解人们不愿意或无法告诉你的信息。
这种全面的方法会让一大群人感到被参与进来,并愿意在长期内支持你。这群人会觉得自己被看见和听到,因此更可能支持你和你的团队。询问建议和解决方案。利益相关者会觉得他们的意见重要。回到大群体中,分享你听到的内容以及你基于他们反馈所做的事情。如果你考虑过并采取了不同的路径,那也没关系!无论如何,分享出来。如果你采纳了某些意见,展示给他们看。
此外,我建议您进行 1 对 1 会议、小组讨论和更大群体的倾听会议来收集反馈。有些人更喜欢 1 对 1 的交流,而另一些人则可能更倾向于大群体讨论。无论您采用哪种模式,都需要建立信任并与会面的人建立融洽的关系。他们需要感到被看见,并且您在真正倾听他们的意见。
确定利益相关者
尽管很容易急于与每个人对话,但我建议您从构建利益相关者地图开始。这项工作将在衡量影响和持续成功时为您提供基础。记住 – 并非所有利益相关者的优先级都是相等的。这并不意味着他们不重要,他们是重要的。您需要评估每个利益相关者并共同努力,优先考虑最有意义和最具影响力的结果,以便在构建商业案例和战略时取得成功。规划这些互动与您在这个角色中的成功几率有直接关系。
首先将您的利益相关者列为不同的组别:
-
内部:受雇于贵公司的利益相关者
-
外部:不受雇于贵公司但与公司有某种关系的利益相关者
在确定每个组别中的利益相关者类型时,考虑哪些人将受到最大的影响,这取决于您的团队和工作是否成功,或者如果失败了。此外,您在制定商业案例和交付计划时需要优先考虑这些利益相关者,因此在建立利益相关者清单时,需要确保细化到一个可管理的层级(太多会导致难以追踪,太少则无法明确界定您将为每个业务组做什么)。
在接下来的两张表格中,我将展示内部利益相关者和外部利益相关者的示例,以帮助您理解上述信息。
内部利益相关者组别 – 一个银行案例
-
个人贡献者 – 出纳员或分析员
-
管理层 – 分支经理或信用经理
-
部门领导 – 社区银行区领导或信用风险副总裁
-
执行团队 – 社区银行执行副总裁或首席信用风险官
-
董事会
外部利益相关者组别 – 一个银行案例
-
客户 – 支票账户持有人或贷款申请人
-
合作伙伴 – 贷款发放的第三方供应商
-
供应商/供应商 – 信用报告机构(例如,Experian,TransUnion)
-
投资者 – 股东
在考虑您自己组织时,将利益相关者按客户、合作伙伴、供应商/供应商和投资者进行映射,类似于上面的示例,可能会很有帮助。然而,外部的定义正在扩大:
成功提示 |
---|
最近,我看到一些公司对外部利益相关者采取了更广泛的看法。一些公司已开始考虑如环境等利益相关者,以定义他们认为应支持或保护世界的责任。根据你公司业务的不同,可能会有额外的内部和/或外部利益相关者,值得考虑。 |
对每个群体,识别他们最关键的优先事项。考虑询问或研究以下内容:
-
他们在组织中的角色是什么?
-
他们的关系通常是积极的还是消极的?
-
他们如何为组织做出贡献或从中获益?
-
对他们来说,成功意味着什么?
从这些答案开始构建你的利益相关者图,并将其整理成表格或模板,以便在制定商业案例和执行项目时参考。你可以使用多种格式,但像这样的模板可以帮助你入手:
内部 利益相关者群体
群体 | 角色 | 健康状况 | 贡献与收益 | 成功衡量标准 |
---|---|---|---|---|
个别贡献者 | 通过个人绩效计划完成公司计划 | 积极 | 通过小时工薪、薪水,可能包括医疗保健和财务福利(如 401k 等)获得报酬 | 员工满意度调查自愿离职/流失率 |
经理 | 管理个别贡献者按公司计划的交付 | 中立 | 通过薪水、佣金、医疗保健和财务福利(如 401k 等)获得报酬 | 客户满意度分数产品管理下的销售目标完成百分比 |
部门领导 | 管理部门/领域 | 积极 | 通过薪水、绩效奖金、医疗保健和财务福利(如 401k 等)获得报酬 | 客户生命周期 价值(CLV)按产品线汇总的销售目标完成百分比 |
执行团队 | 管理整个业务 单元(BUs) | 消极 | 通过薪水、绩效奖金、股票期权/授予、医疗保健和财务福利(如 401k 等)获得报酬 | 所有产品的销售完成百分比客户满意度 分数(CSATs)营销带来的销售漏斗贡献 |
董事会 | 招募、监督、留任、评估和补偿首席执行官(包括继任规划)监督组织的战略建立公司治理体系 | 中立 | 现金和股票;费用报销 | 公共公司股东选举;私营公司任命(不同) |
表 2.1 – 外部利益相关者群体示例
内部利益相关者群体 – 一个 银行实例
群体 | 角色 | 健康状况 | 贡献与收益 | 成功衡量标准 |
---|---|---|---|---|
个别贡献者:柜员 | 在银行分行为客户服务;柜员自取窗口排队 | 中立 | 小时工(柜员);薪水员工(柜员主管) | 每周开设的账户数 >= 25 每位客户服务时间 <= 4.3 分钟 |
管理者:分行经理 | 管理单一银行分行 | 积极 | 薪水;绩效奖金,非财务福利(例如,健康保险) | 每周开户数 >= 250 客户保留率 >= 90%服务成本在 6 个月内减少 10% |
分部领导:社区银行区域经理 | 管理一个区域的银行分行(有多个分行) | 中立 | 薪水、绩效奖金、健康保险和财务福利、股票授予(401k 等) | 改善每年客户获取成本降低 10%改善每个投诉的平均关闭时间 2 分钟/投诉每周开户数 >= 2,500 |
执行团队:社区银行执行副总裁 | 制定战略方向并推动公司社区银行部门的成功 | 积极 | 薪水、达成目标的绩效奖金、股票期权/授予、健康保险(401k 等) | 改善银行部门运营现金流每年增加 10%改善收入每年增加 5%减少客户投诉每年减少 10%减少开支每年减少 10% |
董事会 | 招聘、监督、留任、评估和薪酬 CEO(包括继任计划)管理组织战略建立公司治理体系(委员会、批准政策等) | 积极 | 现金和股票 | 留任 CEO 公司战略计划达成董事会成员重新选举 |
表 2.2 – 内部利益相关者组示例
在您努力确定和定义您的战略时,您需要回答以下问题:您将如何通过建立对数据的信任来帮助利益相关者实现他们的目标?
建立利益相关者地图
要开始为您的项目确定和对齐结果,请从建立利益相关者地图开始。利益相关者地图是一个持续更新的文件,您应该与您的团队一起建立。该地图识别出所有您将支持和/或已经支持的利益相关者群体。我建议将这张利益相关者地图提供给您的团队。您可能还希望向您的利益相关者开放它,以促进透明度、对齐和每季度的业务审查。
开始
要开始制作利益相关者地图,首先要明确利益相关者地图的目的,以便您和您的团队成员明确为何地图至关重要及未来的重要性。您可以利用一个简单的陈述来定义目的:“这张利益相关者地图的目的是确定我们正在服务的人群,他们的目标是什么,我们如何促进他们的成功,以及我们在为他们提供服务时的成功度量”。为了创建利益相关者地图,请收集以下信息:
-
公司战略
-
公司组织架构图
-
当前工作组合
-
在支持每个利益相关者的关键交付内容中是否有任何现有的成功度量、关键绩效指标(KPIs)或目标和关键成果(OKRs)
在收集完这些项后,你可以开始根据详细信息构建地图,首先从模板开始。
绘制地图
接下来,为这个练习创建一个模板。任何简单的表格都可以支持这一点。我见过很棒的利益相关者地图,它们被做成了演示文稿、电子表格,或者是虚拟白板软件中的内容。格式比内容不那么重要,所以要灵活处理方式,重点关注最终结果。如果你的团队有偏好,就按其喜好来。
一个示例模板可能如下所示:
图 2.1 – 利益相关者地图模板
当你与团队和利益相关者群体合作时,你将开始理解利益相关者的优先级,并按重要性排序。接着,你将识别出你将做什么或已经做了什么来支持该利益相关者,以及你的团队已经或将要交付的目标业务结果。
销售部门的一个示例可能如下所示:
图 2.2 – 利益相关者地图示例:销售部门
一旦你创建了地图,你将希望与你的利益相关者分享并维护这张地图。
维护地图
当你与首席营收官(CRO)或销售负责人合作时,使用这种格式或类似格式来支持你们的持续一对一会议。可以问以下问题:
-
你的优先级发生变化了吗?有新的优先事项出现了吗?
-
这些优先事项是否仍然与你希望我的团队做的事对齐?有什么遗漏的吗?
-
这些解决方案是否仍然满足你的需求?你是否希望看到任何附加的功能或能力?
-
这些目标业务结果合理吗?它们是你对我们的期望吗?它们是否足够具有挑战性?是否不够?
最后,在你交付这些解决方案时,你可以添加第五列,记录实际结果。然后,你可以提出一个非常重要的后续问题:
我们在衡量的业务结果上是否达成一致?你是否同意我的团队在你们团队的成功上提供了这种影响?
如果答案是否定的,从好奇心出发提出更多问题。一个过去对我有用的建议是:什么地方不太合适,或者以这种方式写不太合理?你愿意和我一起深入探讨这个问题吗?我真的希望能为你做好这件事。这个方法之所以有效,是因为它并非防御性的,而是源自于真正的合作伙伴关系。你向你的利益相关者展示了你致力于为他们实现正确的业务结果,不仅仅是在交付方面,而是在实际衡量的业务结果上。理想情况下,你希望你的利益相关者能告诉其他人你是如何帮助他们的团队的,而他们需要像你一样相信这一点。
建立信任数据的理由
根据 Gartner 的报告,“只有 23%的受访者在 Gartner 第五届年度 CDO 调查中表示他们定义并跟踪衡量数据和分析为利益相关者结果创造的价值的指标。”(《将数据和分析计划与利益相关者及其商业目标联系起来》,2020 年 6 月 9 日,Gartner)。我在我曾工作过的公司和同行中,每天都会看到这种情况。最常见的是,我看到的衡量标准通常是关于直接利益相关者的:
图 2.3 – 到直接利益相关者的价值链
就其价值而言,你并不孤单。各行业的数据团队和信息技术团队都在努力讲述最终的价值故事。有些我称之为“传统”的数据价值衡量标准对于你的数据团队来说至关重要。数据团队必须超越基本指标(即数据质量的改进百分比),深入研究影响利益相关者的指标。
例如,在交付购买倾向模型(即客户购买特定产品的可能性)时,数据团队通常会衡量他们通过实施该模型为组织节省的时间,即通过手动计算模型所节省的时间与通过 CDAO 办公室的数据科学团队实施人工智能(AI)/机器学习(ML)驱动的模型所节省的时间。虽然这种成功衡量方式是有力的(手动工作时间节省与模型使用的对比几乎总是能够呈现出积极的投资回报故事),但它并不是成功的最终衡量标准。销售团队的客户经理根据 CDAO 团队创建的模型推荐更合适的解决方案。这个现实生活中的例子为最终客户带来了实际的影响。
不幸的是,当数据团队专注于他们的第一度利益相关者(销售运营)时,我们未能看到我们工作的最终影响(销售团队和客户),并且失去了以下方面的机会:
-
增加企业价值的衡量
-
增加收入
-
时间节省
-
提升客户价值
-
-
来自最终用户的关键反馈循环
-
销售团队
-
客户
-
-
推动有意义解决方案所需的客户亲密度
-
更好地衡量购买行为,最终增加销售
-
更好的推荐
-
更相关的销售
-
提升客户满意度
-
降低流失率/客户流失
-
为了全面捕捉影响的广度,你必须更广泛地工作,朝着最终利益相关者的方向努力,如下所示:
图 2.4 – 从数据办公室到业务和客户的价值链
实际上,影响要大得多。你应该通过确定以下几点来更具体地衡量:
-
收入增加了多少?
-
销售团队通过依赖这个模型节省了多少生产力?
-
向客户销售他们真正想要的产品后,客户满意度评分变化了多少?
-
客户信任度提高了多少?
几乎每家公司都未能将此转化为具体的、可衡量的、对客户有影响的结果。业务将获得什么? 为什么要做? 谁将受益? 受益多少? 为什么? 谁在乎? CDAOs 的成功必须与利益相关者的战略性、关键性优先事项挂钩。这种思维方式将帮助你在争取获得执行赞助人的过程中。
获得执行赞助人
在你开始实施大规模计划之前,必须先确定并获得一位执行赞助人。执行赞助人是一个单独的个人,他将为你的项目提供自上而下的支持。在接下来的几页中,我将分享如何识别执行赞助人、什么样的赞助人是优秀的、还需要谁的支持,最后,如何让整个公司一起参与这一过程。
为了争取支持,最有效的起点是从组织的高层开始。理想情况下,你应该争取整个 C-suite 的全力支持。然而,你至少需要一位(理想情况下至少两位)C-suite 成员作为你的执行赞助人。执行赞助人与其他高层管理人员不同,他们将在你的整体数据治理工作中更加亲力亲为,并应帮助你在整个组织中争取支持,包括获取资金。如果你是新加入组织,执行赞助人还可以帮助你理解如何在组织内进行导航,了解可能存在的潜在政治因素,并识别谁做出投资决策,最终是谁决定优先事项。
没有执行赞助人,获得动力和资金可能会变得更加困难。在我第一次进行数据转型时,当我们未能及时获得合适高层管理人员的支持时,我亲身经历了更强的阻力。虽然最终我们完成了实现目标的项目,但花费了更多的时间才能获得动力和支持。这最终对我们能够快速取得可衡量进展产生了连锁反应。
识别和评估赞助人
识别执行赞助人的最佳方法之一是找到那些因为数据治理需求而未能成功的高层管理人员。在第一章中,我们讨论了通过深入的聆听会话来识别整个组织的需求。现在,既然你已经识别出了这些需求,请全面审查哪些高层领导有最重要和最紧迫的需求,这些需求可以通过数据治理解决方案来解决。结果就是你最合适的执行赞助人。
为什么商业赞助人是最好的赞助人
在寻找数据转型赞助人时,你最好的选择是找到一个高度积极的业务赞助人。业务赞助人之所以有动力,是因为他们有业务需求。听起来简单,但这是一种常常被忽视的简单驱动因素。首先要做的是评估他们的业务战略,并识别出你能够通过数据解决方案在他们的业务战略中推动成果的机会。
在前一节中,我分享了如何重新思考如何识别你的结果的最终影响。最终的内部利益相关者群体(意味着你通过未来交付所影响的群体)是最合适的候选者,因为他们能够看到、感知并衡量你数据解决方案的效果。我们将在第五章中更具体地讨论如何衡量结果。
使用案例 – 科技公司
在我担任数据岗位的早期,我遇到了一次很大的调整:学习如何在没有监管驱动的情况下定位数据解决方案。虽然监管可能会感觉像一种负担,但它也可以在推动变革方面发挥作用。在我早期的一次数据转型过程中,我不得不学会根据业务需求独立地定位数据投资。
之前,我一直在推动合规性的角色中工作,这要求实施特定的数据解决方案。在这个新角色中,我必须清楚地识别出业务的需求、他们为何需要这些需求,并且如何衡量成功,我必须在获得资金之前完成这一切。
尽管解决方案保持一致(主数据管理(MDM)平台),但定位完全不同。在那家科技公司,我与市场营销部门以及首席营销官(CMO)密切合作,定义了我们如何管理潜在客户的联系信息,以及主数据联系人改进对他们业务成功的意义。因此,CMO 成为了该项目的业务赞助人之一。此外,我们还识别了节省成本的机会,因此,首席会计官(CAO)担任了另一个赞助人。我们共同提出了解决方案,获得了资金,并在 12 个月的交付时间内持续衡量成功。
一旦你识别了能够推动业务成果的机会,你应该与他们坐下来,用业务术语解释你能交付哪些数据解决方案,帮助他们实现业务成功。你需要阐明你将做什么,如何交付,成本是多少,所需时间多长,如何衡量成功,以及他们将在业务中实现的成果。我们将在第五章中花更多时间讨论如何制定这些衡量标准。
最终,业务赞助人会相信你能够为他们带来业务成果,并会赞助你。他们有重要的业务需求,当你帮助他们取得成功时,你也会获胜。此外,当你为他们带来成功时,他们会讲述你的成功故事。最好的成功是由你的利益相关者替你讲述的,所以你应该确保他们完全相信你的交付成果,并且赋予他们值得炫耀的出色结果。
成功提示 for success |
---|
确保你的成功衡量标准超越了“虚荣指标”,不仅仅是提高数据质量、节省时间或降低成本,而是真正衡量业务影响。虽然提高数据质量、节省时间和降低成本都是有价值的,但要转化为业务影响,就需要将这些结果推向更深一步。例如,如果你提高了联系数据的质量,如前述的案例那样,那么更有价值的是说明,因为联系数据的质量得到提高,业务能够做出什么。在这个例子中,我们衡量了联系数据的改进(其质量提高了超过 40%)以及这对我们营销部门意味着什么。最终的结果是更高质量的销售渠道,这对市场可销售的联系人数产生了可衡量的影响,并且销售额也有了可衡量的增加。我们能够具体量化,由于我们的实施,创造了多少额外的收入。现在,这就是一个让整个 C-suite 都在谈论的数据解决方案。 |
为什么你的赞助人不是 CIO
许多组织(无论行业如何)在对齐过程中常犯的一个错误是将首席信息官(CIO)视为 CDAO 和数据治理项目的事实上的赞助人。你不能将 CIO 作为主要赞助人的四个明确原因如下:
-
你的首席信息官(CIO)是你的合作伙伴。
-
你的 CIO 是你的赋能团队。
-
你的 CIO 可能在与你作对。
-
你的 CIO 在与业务的关系中有自己的挑战。
为什么你的赞助人不是 CIO 的主要原因很简单:你的 CIO 是你的交付伙伴。他们是你在整个组织中最关键的合作伙伴之一,但不是赞助人。CDAO 和 CIO 都有共同的赞助人:业务。最好的赞助人是你一起服务的业务。你的 CIO 是来帮助你实现成功的。在实现你数据解决方案背后的技术时,CIO 是来帮助你成功的。此外,CIO 还在为你的业务成功赋能。这也是你可能与 CIO 发生挑战的原因之一。CIO 可能有动机直接为业务交付成果,而不是为你交付。
不幸的是,您可能会发现他们的首席信息官实际上可能会反对您,因为这种动态。如果涉及到优先级,您的首席信息官可能会有偏见,直接向业务交付而不是为您服务业务。这就是为什么与您合作,适当地与业务对齐以确保企业范围内的一致性至关重要的原因。理想情况下,首席数据分析官、首席信息官和业务将共同坐下来优先考虑和对齐优先级、可衡量的结果以及解决问题的计划。
成功的提示 |
---|
虽然首席信息官不是 CDO 报告的最有效位置之一,但这是更常见的结构之一。如果发现首席数据分析官报告给首席信息官,那么在数据治理计划成功的优先级成为风险时,拥有强大的业务赞助尤为重要。 |
一个优秀赞助人的特征
如果不是首席信息官,那么谁应该成为您的赞助人?答案是相信您的业务领导者。那么,如何识别一个优秀的赞助人?这归结为几个关键因素:
-
他们会挑战您:一个优秀的赞助人将在许多方面挑战您,但主要是挑战您以业务术语定义对他们重要的成功。您将被要求不仅在数据术语上定义您正在解决的问题,而且还要在影响企业整体业务结果方面定义。
-
他们迫使您深入挖掘:当您提出解决方案时,他们将挑战您使您的业务案例更加强大、更相关,并与企业战略对齐,这是您自己无法或不可能看到的方式。
-
他们定义最终影响:您的赞助人应该以公司成功的最终影响来定义成功的声誉。他们应该帮助您理解如何定位解决方案的影响,以便公司理解,从而使您能够以文化适当且能获得支持的方式传达解决方案的最终影响。
-
他们得到 CEO 的支持:最好的赞助人与首席执行官保持一致并得到支持。
-
他们位于 C 级管理层:您选择的赞助人需要直接向首席执行官汇报,以确保在组织顶层有足够的赞助,并确保首席执行官参与有关数据治理的对话。
现在我们已经讨论了什么是一个好的赞助人,让我们深入了解如何建立一个出色的业务案例,以帮助确保您所希望的赞助人。
建立业务案例以获得赞助人支持
当你深入倾听你的利益相关者,包括潜在的执行赞助人时,这是一个将他们与你分享的所有问题和需求转化为你的项目商业案例的时刻。我建议你从执行赞助人负责的领域开始,并将其定义为你关键的关注领域之一(即数据领域)。这个数据领域可以成为你的试点,帮助你起草企业数据战略,同时满足数据领域的需求。
关键组成部分
强有力商业案例的关键组成部分包括以下内容:
-
价值主张/目标
-
具体且可衡量的商业成果
-
价值链创造,展示你将在何时何地交付价值
-
时间表和关键里程碑
-
支持交付所需的关键合作伙伴、角色和结构
这种方法有几个优点,包括能够展示交付具有商业价值的解决方案、获得快速且有意义的胜利,并且在为数据领域交付时能够迭代地调整你的企业数据战略。通过专注于这个领域,你能够平衡学习组织运作方式、为你的解决方案开发有意义的反馈循环,以便迭代地取得更好的成果,同时你也能与假定的执行赞助人建立信任,使他们对你在推动全公司数据治理方面的能力充满信心。
根据你的团队的规模、层次和质量,你或许可以启动第二个领域,并为你的次要执行赞助人交付成果(我们将在第三章中讨论团队)。然而,在一个领域内高质量地执行要比在多个领域中做出不高质量的成果要好得多。当你刚加入一个组织,正在努力建立个人品牌和信誉,并且希望公司能够支持你的战略时,这一点尤为重要。要小心不要过度承诺和无法交付。这是最快的离开公司之路。
首席数据官(CDO)的任期令人震惊地短。根据哈佛商业评论,CDO 角色快速更替的原因是高期望与低交付能力的结合,因为他们面临的挑战非常复杂。此外,CDO 需求量大,使得经验丰富的 CDO 成为外部招聘的目标。曾在三家财富 500 强公司工作过的我,可以证明亲眼目睹了我所合作过的 CDO 们的高流动率,以及我自己作为 CDO 时的经历。
关键学习
这里的目标是优化影响力和时间线。高影响力,交付过慢,首席数据官(CDO)会在他们的表现期待消失前没能做出改变。低影响力,交付过快,首席数据官的可信度会受到质疑。目标是在影响力大的领域找到一个可以快速、显著进展的地方。请明智选择。
商业案例的格式远不如内容重要。我见过很多优秀的商业案例,它们以幻灯片、文档或备忘录的形式存在,甚至是录音或视频形式。最重要的是商业案例中所包含的信息。与你的执行赞助人及其直属团队成员密切合作,你应该制定一个非常有力的为什么声明。为什么需要提供包含的数据能力?你将做什么?结果会是什么?最后,数据能力实施后,业务方面会发生什么变化?你的商业成果不是“实施数据目录”,而是数据目录实施后,企业能做什么。这可能意味着最重要的是公司在整个企业范围内标准化统一的业务术语。最终结果是对齐的业务术语;能力则是数据目录。明确这一点对你的成功至关重要。
最后,我建议你的商业案例保持常青。在你学习和交付的过程中,不要害怕回到原始的商业案例,并根据你在过程中学到的东西进行编辑。执行赞助人应该愿意并能够花时间确保在任何启动之前,商业案例内容完全对齐。我建议你首先与执行赞助人的直接下属对齐,然后再去找执行赞助人进行最终签字,这样你就已经获得了他们团队的对齐。
我曾写过一个非常成功的商业案例,它的结构是大约 10 页的备忘录,由我的企业数据团队编写,涉及销售运营、销售、市场营销、运营、IT 和法律/合规等部门的输入。这个商业案例的构建大约用了 10 到 12 周,最终提交给我们的转型委员会以获得资金和批准。格式的重要性远低于内容,但在这个例子中,以下几点做得很好:
数据项目的商业案例示例
以下概述了数据项目商业案例可能包含的内容:
项目名称
执行赞助人 [C-suite 成员]
业务赞助人 [CDAO;在这个案例中是我]
-
背景和背景信息
-
目标
-
关键解决方案
-
项目的可衡量成果,如 KPIs/OKRs
-
-
将工作组织成交付轨道
-
这为各个项目命名,并提供了每个项目的范围以及从能力角度看,成功的标准是什么
-
我们提供了一个简单的总结图表,解释了驱动因素、商业案例中包含的项目以及预期结果
-
-
在接下来 6-9 个月中,业务将受益的短期可衡量结果
-
我们对委员会的需求
-
按项目分类:
-
它是什么
-
清晰交付的能力
-
为什么这很重要
-
项目的成果
-
在正式将其转化为项目之前,已经完成的工作
-
关键的短期里程碑
-
项目需要的内容
-
我们承诺交付的可衡量 KPI/OKR
-
-
更多资源链接:
-
项目登陆页面
-
详细的路线图
-
关于数据转型的培训项目
-
-
在文档中嵌入的项目概览幻灯片,方便参考
每次向委员会汇报季度更新时,我们都会回到这种格式,并仅更新它,以反映我们取得的进展和超出承诺的成就,以及任何未完成的事项。我们清晰地阐述了在实现我们的 KPI/OKR 方面的进度,并在需要调整时透明公开地进行修订。通过这种方式推进我们的项目,我们不仅为如何衡量数据的价值设定了先例,也展示了那些看似“难以衡量”的项目如何能够用业务能理解的方式衡量结果。这为数据团队赢得了信誉,也是我做出的最大改变之一:即对数据的信任。
成功提示 成功秘诀 |
---|
不受欢迎的观点:不要试图说服“敌对”或公开持异议的利益相关者。根据我的经验,不支持的高层管理人员有他们的原因。你可能会耗费大量精力试图将他们“拉到自己这一边”,但通常是徒劳的。我的最佳建议是,展示给他们,而不是告诉他们,什么是好的。提供一个能帮助他们的能力,他们最终会逐渐接受。 |
关于转化为业务成果的说明
要取得成功,你必须将你的工作转化为业务成果。由于这一部分至关重要,而且根据我的经验,它是 CDAO 成功或失败的关键原因之一,我们将花整整一章的篇幅来讨论这个话题,以确保你掌握所有必要的信息,打造对你和你的团队成功有意义的业务成果。第五章将专门讨论这个话题。
建立反馈回路
在为你的执行赞助人交付正确的能力时,持续与他们会面是至关重要的。因为你应该在为执行赞助人所在领域交付的同时创建企业数据战略,所以你应至少每季度召开一次企业数据委员会会议,以分享进展,优先处理公司额外的需求,并争取来自其他领域领导的更多支持。你可能犯的一个最大错误就是会议频率不当。有两种极端需要考虑:
-
会议过于频繁,却没有有意义的更新或进展可以分享
-
会议过于少,委员会忘记了你承诺交付的内容,失去了兴趣
你的任务是找到合适的受众和合适的频率,以满足企业需求。除非有紧急情况(例如,法规要求、制裁或其他危机),我建议最初进行季度会议。根据委员会成员的需求,你可以进行调整。请求反馈,并在需要时继续调整。
有一些迹象表明你可能在与企业数据委员会和执行赞助商开会时步伐不对,值得注意:
-
你的成员构成发生变化:如果你发现你的会议开始被委派给组织的较低层级,这表明你的成员觉得会议没有意义,已经把它推给了他们的团队成员。
-
你收到周期外会议的请求:如果你发现你的成员请求在周期外或会议之间获取信息,可能需要更频繁地召开会议。
-
出现沉默:如果你发现参与度很低或在周期外几乎没有问题,可能是你提供的信息不相关,或者你的成员没有理解你想要与他们沟通的内容。
如果这些(或全部)情况属实,我建议你尽快向委员会成员请求反馈。这些都是你需要改变与小组共享频率和/或内容的信号。如果成员组成发生了变化,你可能需要与成员进行一系列 1:1 会议,以重新激发他们的参与,并要求他们返回未来的会议周期。在他们彻底停止参加之前,你很可能还有一次机会重新激活他们的参与。
假设你的试点数据领域和执行赞助商一切顺利,你可能能够在稍微错开的启动日期上启动第二个数据领域。但需要提醒的是:除非你非常确信公司有强有力的支持,并且第一个数据领域的交付进展非常顺利,否则不要启动第二个数据领域。即使如此,最大化质量而非数量仍然至关重要。执行好一个领域远比交付两个领域却得不到好的结果要好得多。
支持你的关键角色
作为你的交付计划的一部分,针对你的第一个数据领域,我建议你花时间对齐你团队(数据业务)、技术团队(数据技术)和业务团队(数据领域)之间的角色和职责。这可以通过与执行数据领域领导团队、首席信息官(或其代表)和你的团队合作来完成。通过共同定义你负责的内容、数据领域负责的内容以及 IT 职能负责的内容,可以确保在进入交付阶段时,团队合作更加顺畅。
你还需要与财务业务伙伴建立牢固的关系,帮助你管理你的项目预算,以及在你建立团队时与人才团队(有时称为人力资源或招聘)合作,我将在第三章中更详细地描述这一点。根据你所在组织的规模和范围,可能还需要与其他不同职能部门合作。无论规模和复杂性如何,我建议你识别出所有需要参与的各方,以及你需要他们提供的支持或他们可能需要你提供的支持。
-
首席信息官(CIO):尽管他们不是你的执行赞助人,但他们是你支持团队中的关键成员。CIO 对你的成功至关重要,因为他们的团队将确保你拥有适当的系统和工具,以及工程人员,以推动平台和数据管理工具的实施,并确保你的解决方案具有足够的基础设施来成功履行你的承诺。
-
首席财务官(CFO):CFO 是一个出色的支持/次要赞助者,同时也是你争取资金支持的关键人物。带上 CFO 一起走过你的项目之旅至关重要,要向他们解释你提议的内容、价值(如成本降低、风险减少/管理、收入增加、节省时间等)以及关键的时间表。他们将帮助你确定如何争取资金,谁需要支持你,以及他们在资金分配中的角色。
-
总法律顾问/首席隐私官(CPO)/首席信息安全官(CISO):这些关键角色将成为你在推动要求(即为了维护公司法律和安全保护所必需进行的活动)时的出色合作伙伴。他们作为独立且优秀的支持者,因为他们需要你。例如,这三位领导者必须知道公司拥有哪些数据,这些数据在哪里,以及如何对其进行分类,以便他们能够充分保护这些数据。在这三位领导者之间,你需要制定一份详细的要求清单,以支持公司的法律需求和确保公司数据安全所需的措施。
-
首席人才官(CPO)/人力资源主管:你的 CPO 或人力资源主管是你成功的另一个关键伙伴。这个领导者将帮助你构建和招聘团队,将其他部门的团队成员重新组织到你的职能部门,并建立持续的人才管理支持。通常,他们会指派一名人力资源业务伙伴与你的组织对接。你需要直接与这位领导者合作,但偶尔也要保持与 CPO 的联系,确保他们充分了解哪些方面运作良好以及你的团队的优先事项进展如何。他们可以帮助你发现公司内寻找新挑战的关键人才,这些人才可能非常适合你的团队。
-
业务领导者:业务领导者负责公司各部门,是你的最终利益相关者。你为公司交付的成果,是为了帮助他们实现目标。你应该与每一位业务领导者建立牢固的关系,正如之前所描述的。此外,确保通过向他们展示你团队为公司整体推动的成果,定期报告进展。你需要他们的口头支持。在一些公司中,业务领导者也可以为你的工作提供预算支持。
你的高层赞助人应该支持你,在公司最重要的高层论坛上定期早期汇报。有些公司将这个小组称为 C-suite、高层领导团队,或者是 e-Staff(即高管团队)。它可能仅包括 CEO 的直属下属,也可能根据 CEO 的偏好包括更多角色。我建议让你的高层赞助人为你铺路,解释他们为何决定在你的成功中扮演角色,为什么他们认为你能带来价值,并在介绍你之前支持你的项目。这将吸引听众的注意力,让他们专注于你的汇报。定期回到论坛,分享你取得的成果、调整和影响。
高层领导团队也可能希望你在董事会会议上进行汇报,这取决于你所在组织的数据状态和该问题的重要性。如果有机会,我强烈建议你向董事会汇报。他们可以是你强有力的支持者,并确保 CEO 支持你。作为一名董事会成员,我常常会问关于董事会材料中呈现的数据,以及管理层在决策过程中使用的数据。
如何获得大众的支持
到 2026 年,数据量将翻倍,且对基于信任的方法的需求也在增加,因此我们必须通过同样的视角来构建我们的项目:一个以信任为先的视角。要与整个组织建立信任,你需要通过你的交付来证明他们可以信任你。我们之前讨论过企业数据委员会的重要性,这是获得高层支持的关键。此外,你应该创建论坛和沟通机制,以保持团队对你所做的工作充满激情和活力,推动公司转型。
我建议设立一个不限制“谁”或“多少人”参加的论坛。一个广泛开放的论坛是展示你所做的工作,而不是单纯讲述它的好地方。当你逐步构建能力时,展示已交付的内容以及大众如何开始利用这些能力,是你开始展示自己交付成果并赢得信任的方式。记住——你不会通过谈论你将做什么来赢得信任;你通过展示你已经做了什么来赢得信任。信任是建立在行动上的,而不是空谈。
以一个非常基础的模型为基础进行沟通:员工在交付后能做什么,而今天却做不到?为什么这很重要?这两个基本问题的答案就是你的信息。清楚明确地表达这一点,具体且强烈地以员工在公司中的实际体验为出发点。
使你的进展透明化。使用内部维基、电子通讯,甚至是简短的视频片段来向大众传达正在发生的事情,以及交付进展情况。使用像 Confluence®这样的工具来发布关于你转型的关键信息(例如你的商业案例!)、路线图、最近的成就、关键文档链接(如业务需求和技术需求)以及度量指标,将节省你每次有人提问时都要召开会议的时间。
在前述步骤中,你将通过论坛和书面沟通,将一个支持性的执行赞助人、企业数据委员会和跨企业的利益相关者汇聚在一起,这些都是推动数据治理转型的动力源泉。通过这种方式联合大众是你的责任和荣幸。很少有项目能够或有兴趣像你一样团结起这个广泛的社区,通过建立对数据的信任。整个联盟的基石是关系。及早并频繁地投资,才能推动你想要的结果。
结论
与利益相关者建立强有力的关系是任何数据领导者成功的关键组成部分。当你考虑建立一个完整的支持者网络时,务必聚焦于哪些一两个角色可以成为最佳赞助人。在本章节中,我分享了什么样的赞助人最优秀,如何建立强有力的商业案例来确保一个领导者作为你的赞助人,以及为什么 CIO 是一个伟大的合作伙伴,但并不是最佳的赞助人选择。通过本章,你现在应该能够:
-
与高层管理团队以及组织中各个层级的关键角色建立关系。
-
确定至少一位,理想情况下是两位,执行赞助人。
-
为你的执行赞助人的数据领域编写一个有说服力的商业案例。
-
建立反馈机制和沟通机制。
-
与企业沟通,以获得大众的支持。
当我们转向第三章,我们将讨论如何建立一个高效团队来推动公司成功时,记住你的赞助人需求,以及如何建立一个出色的团队来影响赞助人希望达成的目标。第二章和第三章可以同时进行,这两个话题都需要时间来完成。开始这两个任务的最佳时机就是现在。
参考文献
-
www.mckinsey.com/capabilities/quantumblack/our-insights/why-digital-trust-truly-matters
-
www.merriam-webster.com/dictionary/culture?utm_campaign=sd&utm_medium=serp&utm_source=jsonld
第三章:构建一个高效能的团队
建立一个高效能的数据治理团队是公司成功利用数据的关键性和长期投资。通过阅读本章内容,我假设你希望建立一个高效的数据治理团队和/或创建一个完整的数据与分析职能。最终,你的成功将取决于你组建的团队能否为你的组织提供卓越、高质量、具有影响力的解决方案。鉴于数据专业人才的稀缺,这是衡量你成功的第二个最重要指标;即聘用公司能负担得起的最优秀的人才(第一个是能够设定并衡量成功的标准,正如我在《第二章》《如何建立支持者联盟》和《第五章》《定义成功与成果对齐》中所提到的)。
根据你公司独特的情况,你可能会遇到几种不同的情景,促使你需要建立一个团队。你可能是数据领域的第一位员工,需要从零开始组建整个团队。你也可能是被引入来将公司内分散的团队整合到一起,在你的领导下统一协作。或者,你可能继承了一个完全完整但需要转型的现有团队。无论你处于哪种情况,从你踏入公司门口的那一刻起,团队的表现就牢牢地压在你的肩上。
在本章中,我们将讨论哪些角色很重要以及为什么,如何构建一个成功的团队,如何实施正确的日常工作和节奏,以及如何在团队内外培养人才。正如你可能已经猜到的,建立一个高效能的数据治理团队是公司成功利用数据的关键性和长期投资。首席数据与分析官 (CDAO)及 CDAO 办公室直到 2002 年才开始设立(最早在Capital One),而到 2012 年,全球仅有 100 位 CDAO。然而,根据LinkedIn的数据,近年来 CDAO 的数量已经增长到超过 152,000。首席数据官 (CDO)这一角色则更为常见,67.9%的大型公司已任命了 CDO,而 2012 年这一比例仅为 12%。随着 CDAO 角色需求的快速增长,这些专家的薪资也随之上涨,因此这些角色的投资回报 (ROI)正受到持续的审视。对于 CDAO 办公室的成功而言,迅速、高效且有效地建立一个高效能团队至关重要。
我们将讨论以下主要话题:
-
聚焦成果优化
-
三种常见的数据组织模型
-
需要哪些角色
-
人工智能考量
-
如何为结果构建团队(及其原因)
-
构建数据业务的节奏
-
功能角色
-
人才发展
聚焦成果优化
当你开始设计一个组织模型和运营模型,以便公司交付重要的数据管理和分析结果时,必须从目标开始。你并不是在构建一个单一的部门;你是在构建一个数据赋能的企业。在设计组织模型之前,你必须先定义所需的能力。这些能力是你在根据第二章中的过程建立倡导者联盟时所进行对话的主要结果。
用例
在我之前的一家公司,我们非常关注报告中使用的数据质量。因此,我们的数据战略主要依托于一个重要能力:重新架构数据基础设施,以推动一个精简且策划的数据生态系统,能够生成高质量的报告,并且具有较高的通用数据元素的可重用性,这些元素为报告提供数据支持。这确保了通用数据元素的可靠性和高质量。这是一个明确且集中的计划,围绕着公司组织和优化了这一特定结果。
结果是,最大的员工配备专注于创建授权供应点,确保我们拥有一个全面且可靠的数据湖,并在所有环境中部署强有力的数据治理。分析和数据科学合并为一个领导者,而数据管理部分则被拆分出来,直接向 CDAO 报告,因这些能力的重要性和成熟度较低。这让 CDAO 对数据管理有了更直接的监督和关注,因为那是我们的主要投资和关注领域。
常见结果
数据和分析团队可能会关注无数种结果组合,而且新的关注点不断涌现。在撰写本文时,生成性人工智能(GenAI)已成为许多创新领域的前沿,因此,高质量数据的重要性正在重新回到 CDAO 议程的最前端。重要的考虑因素是,正如我们在第二章中讨论的那样,如何建立倡导者联盟,评估公司战略以确保你所优先考虑的事项支持业务需求。以下是根据我在数据治理经验中总结出的 10 个常见结果,预示着建立高效团队的成功:
-
改进决策:一个高效的数据管理团队通过确保所依赖的数据准确、最新且易于访问,从而加快和提高决策的准确性。
-
提高效率:通过建立明确的数据录入、存储和检索流程,一个高效的数据管理团队能够最大限度地减少在查找数据或修正错误上浪费的时间,从而提高组织效率。
-
数据安全:他们确保敏感数据得到保护,符合相关法规(如通用数据保护条例(GDPR)、加利福尼亚消费者隐私法案(CCPA)等),并且只有授权人员可以访问。
-
提升数据质量:他们实施数据验证和清洗流程,以保持数据的高质量,减少基于错误信息做出决策的风险。
-
可扩展性:一个组织良好的数据管理团队为未来的公司发展做好准备,确保数据基础设施具备可扩展性,能够处理公司扩展时增加的数据量。
-
改善客户体验:通过有效管理客户数据,团队可以帮助其他部门个性化客户体验,预测客户需求,并及时响应客户的咨询或问题。
-
创新与洞察:高效的数据管理团队可以帮助识别数据中的模式和趋势,从而得出推动创新和战略规划的新洞察。
-
数据素养:这样的团队还可以帮助提升组织内部的数据素养,赋予员工在各自岗位上有效使用数据所需的理解力和技能。
-
合规性:良好的数据管理确保公司遵守与数据隐私和管理相关的行业标准和法规,避免潜在的法律问题和罚款。
-
节约成本:适当的数据管理可以随着时间的推移带来显著的成本节省。这些节省可能来自提高效率、减少错误,或防止昂贵的数据泄露和不合规罚款。
你可以将这份成果清单作为组建数据团队的部分依据。如果你需要一个起点,可以从这个清单中选择适合你公司需求的内容。你应该定制需求领域,添加新的成果,删除不适用的部分。
定义核心职能
到目前为止,我们已经花时间定义了数据治理,并探索了如何建立出色的合作关系,现在,较为艰难的工作开始了。作为领导者,你的工作是根据这些输入开始塑造你的团队。由于如何将数据专业人员组合成团队的方式是无限的,我将引导你了解一些常见的模式,帮助你入门。不要害怕根据公司需求进行偏离。需要考虑的关键问题如下:
-
团队的核心能力将是什么?
-
团队的优先事项是什么?
-
什么是紧急的,需要立即处理的,什么是可以等待的?
-
作为领导者,我最需要参与的是什么?我最需要密切关注的是什么?
-
我团队中有哪些人才缺口,可能影响我需要将时间和精力集中在哪些人身上?
这些问题的答案将帮助确定哪些模型最适合推动团队结构的构建。我们将探讨三种设计数据职能的基础选项以及每种选项的优缺点。在继续评估这些选项时,不要过于纠结于哪个模型最完美。完美的模型并不存在。这些组织设计只是可以为团队设计提供借鉴的模板。
在组织设计中融入产品管理
最近,数据治理团队和分析团队有意将核心产品管理原则应用于数据能力交付。这一转变吸引了许多大大小小的公司,因为专注于少量、小规模的一次性交付,注重长期持续交付,且质量更高的方式带来了压倒性的好处。
就像软件开发领域的产品管理专注于创建和维护成功的产品一样,数据产品管理涉及将数据视为宝贵的资产,并制定战略性的方法来组织和利用数据。以下是如何在组织设计中融入产品管理:
-
识别利益相关者及其需求。就像在产品管理中一样,了解利益相关者的需求对于数据组织设计至关重要。数据组织应识别与数据互动的各个团队、部门和个人,并收集他们的需求。这有助于将数据解决方案与最终用户的具体需求对接。
-
明确目标和目标设定。数据产品管理包括为数据项目设定明确的目标和方向。这可以包括提高数据的可访问性和准确性,或支持数据驱动的决策。通过设定这些目标,数据组织能够专注于需要实现的内容并衡量成功。
-
优先考虑数据项目。与产品经理根据业务价值和用户影响来优先考虑功能和改进类似,数据组织应根据数据项目的重要性和对组织目标的潜在影响来优先排序。这确保了资源的高效分配。
-
迭代开发和敏捷实践。在数据组织设计中采用迭代开发方法和敏捷实践有助于持续改进。这种方法使数据团队能够根据用户反馈不断迭代其解决方案,适应变化的需求,并有效响应不断变化的业务需求。
-
以用户为中心的设计。就像产品经理专注于创建用户友好的产品一样,数据组织应优先考虑以用户为中心的数据设计。这意味着提供易于理解和使用的数据格式,并以最终用户体验为核心来设计数据解决方案。
-
数据文档和沟通。有效的产品管理包括清晰的文档和沟通。同样,数据组织应当记录数据定义、数据来源和数据血统,便于利益相关者更容易理解并有效使用数据。
-
绩效衡量和指标(没错,就是关于数据的数据!)。数据产品管理需要将数据举措的绩效与既定的目标和关键绩效指标(KPI)进行衡量。通过跟踪与数据使用、数据质量和数据可访问性相关的指标,数据组织可以持续评估其绩效,并做出基于数据的改进。
通过采纳这些产品管理原则,数据组织可以确保其数据基础设施与业务目标对齐,向利益相关者提供价值,并保持对数据世界中不断变化需求的适应性。在本章接下来的部分中,我们将探讨常见的数据组织模型,我将结合产品管理的概念,使我们在组织设计中融入这些原则。
三种常见的数据组织模型
你所需要的角色应当由你要实现的目标来决定。事实上,组织可以也应该有无尽的可能性来构建一个成功的团队,只有你才能为你的独特情况设计出合适的团队。然而,在接下来的页面中,我将概述你可能需要领导的四种数据职能类型,并建议一些不同的组织结构,帮助这四种职能成功地交付。作为数据职能的领导者,你的工作是选择哪种职能类型最适合你组织的目标。
建立首席数据官(CDO)办公室
无论公司有何种数据和分析需求,组织至少应有一个小型的中央职能。我将这个中央职能称为首席数据官(CDO)办公室。根据你选择的组织结构,你可能会有一个规模更大、职责更广的办公室,或是一个规模更小、职责更集中的办公室。理想情况下,这个 CDO 中央办公室将负责制定组织应遵循的期望、政策和标准。至少,这个中央职能将负责设定这些要求,并应负责实施和持续监控合规性。
如果没有建立一个集中职能来负责需求、实施需求以及持续监控合规性,各个业务单元(BUs)将只能依靠自己的需求、实施做法和持续监控,这将导致公司数据管理上的不一致。如果一个组织想要有效管理数据,至少必须建立这个中央小组。为了保持政策和监控实践的客观性并消除偏见,CDO 办公室的领导应尽可能报告给公司内部一个中立的位置。
联邦数据办公室模型 – CDO 办公室
如果如前所述定义了一个狭义的集中的 CDO 办公室,那么该办公室设定的要求将需要由各自的业务单元来实施。这种模型是“联邦式”的,CDO 办公室做最低限度的工作,而业务单元和各自的企业职能(例如,财务、销售、研发)必须完成所有实施工作。在这种模型中,部门可能会或可能不会有部门级的 CDO 来推动部门内的要求。它们也可能被赋予设计和实施自身能力的权力,以遵循 CDO 办公室的企业政策:
图 3.1 – 联邦模型中的 CDO 办公室
这种模型赋予业务单元和企业职能根据自身需求创建所需能力的权力,但也使得这些能力难以整合,从而难以提供企业范围内的数据视图。通常,组织会从这样的模型开始,优先考虑每个业务单元/企业职能的需求,而忽视整个企业的需求,通常在数据工作变得优先且更加规范化后,企业需要进行合理化工作。
为了制定政策和标准,首席数据官(CDO)办公室应当创建一个企业数据委员会或企业数据理事会。这个小组应由 CDO 主持,并由所有主要业务单元和企业职能的领导组成。政策中列出的要求应由企业数据委员会/理事会批准,并向组织发布,业务单元和企业职能应当采纳这些要求。任何为了实现政策合规性所需的工具应由 CDO 办公室集中管理。任何政策的例外或违规行为应当透明地监控,并报告给相应的业务单元或企业职能负责人,以及 CDO 和企业数据委员会/理事会。
半自治数据办公室模型 – 业务单元(BUs)和企业职能
随着业务单元和企业职能设立领导人来对其部门内政策和标准的实施负责,每个应用、数据资产和服务应根据数据领域模型进行分类。数据领域模型为该资产、应用和/或服务指定数据管理员。数据管理员最终负责确保该资产、应用和/或服务在首席数据官办公室通过企业数据委员会/委员会设定的政策和标准下进行管理,并确保这些资产、应用和/或服务按照预期用途得当使用:
图 3.2 – 半联邦模型中业务单元(BUs)和企业职能的职责
通过中心辐射模型推动成熟和赋能
第二种模型,即中心辐射模型,旨在通过所谓的中心辐射模型来实施政策和标准,其中中央团队提供期望、政策标准、以及能力,而辐射部分(即业务单元和企业职能)则将实施推动到组织的各个层面。当然,这个模型的实施还需要考虑你所在的业务类型、需要遵守的法规以及组织的规模和复杂性。
中心辐射模型 – 首席数据官(CDO)办公室
中心辐射模型与联邦模型的主要区别在于,实施活动在这个模型中完全落在辐射部分或业务单元和企业职能上。在这个模型中,每个业务单元或企业职能可能也会有一个部门级的首席数据官(CDO),这与联邦模型类似。虽然联邦模型与中心辐射模型之间看似存在一个显著的区别,但这个区别是重要的,因为数据治理的艰巨工作并不在于定义需要做什么,而在于通过业务采纳中央能力来将能力传递给业务。中心辐射模型的主要好处是跨组织标准化能力,这使得整个公司保持一致:
图 3.3 – 中心辐射模型中首席数据官(CDO)办公室
中心辐射模型 – 业务单元和企业职能
该模型展示了业务单元或企业职能应如何设计:
图 3.4 – 中心辐射模型中的业务单元和企业职能
通过集中模型推动一致性
在集中模型中,所有职责都集中在 CDO 办公室内。当组织中不同部门的成熟度差异较大,存在需要整改的重大问题,或者公司希望在短期内最大化一致性或节省成本时,这一模型非常有效。如果您的组织发现自己完全集中化数据和分析,我建议您将其作为一个短期(12-24 个月)的解决方案,并在立即完成整改工作后,推动过渡到集线器和辐射模型。从长期来看,完全的集中模型将数据管理者与业务单元和公司职能分开,这会削弱专业知识,并随着时间的推移降低数据管理者的有效性。
理想情况下,集中化允许所有业务单元和公司职能集合在一起,充分利用彼此的专业知识,快速采用由 CDO 办公室推动的能力,然后再推回到集线器和辐射模型的各个辐射点,以便在长期内在整个组织中优化数据管理。
集中模型 – CDO 办公室
以下图示展示了如何为集中模型设计首席数据官办公室:
图 3.5 – CDO 办公室的集中模型
如何为您的组织选择正确的模型
我有机会在三家财富 500 强公司推动数据转型(至今为止),我可以自信地说这一点:没有任何公司能够完美管理数据。虽然有些公司做得比其他公司更好,但最终,最好的模型是那个能够推动进步、成熟以及全面使用洞察来运营公司或组织的模型。
根据我的经验,公司通常会尝试几种模型(如果不是全部的话),直到找到最适合自己情况和/或企业文化的模型。如果您的公司还没有建立任何数据要求或能力,我建议从建立一个 CDO 办公室开始,组建一个小型的启动团队,首先为数据构建商业案例(详见第二章,如何建立支持者联盟,深入探讨为数据构建案例)并逐步朝着集线器和辐射模型发展,随着各职能部门对数据成熟度成果的认同。
然而,如果您的组织在某些能力上的实施不一致并且存在数据质量、数据的适当使用或对数据洞察的信任等重大问题,那么将您的数据和分析专业人士集中到一个团队中,推动一致性、严格性,并提高对数据职能、能力和输出的信任,可能是一个明智的选择。
最后,如果你为数据倡议提供了普遍的支持,拥有嵌入各业务单元和公司职能中的强有力领导,并且希望提升整体成熟度、能力的采用或进一步强化现状,中心辐射模型是最好的选择。根据我的经验,中心辐射模型在中央 CDO 办公室也强大、稳定并得到适当资金支持(即人员、工具和能力)时,能够带来持久的成功,只有在这个时候它才是最有效的。
需要哪些角色
CDO 办公室中所需的角色会根据组织的规模和复杂性有所不同。CDO 在帮助组织通过提供高质量数据来做出更好决策方面起着至关重要的作用。他们还帮助组织遵守数据隐私法规。因此,我们首先要确立和定义的角色是 CDO。CDO 通常不会是组织中第一个从事数据相关工作的员工。
通常,在 CDO 的招聘或设立之前,已经有团队成员存在,甚至可能已经表现出色。通常发生过某种组织性事件(如危机、需要转向使用数据、意识到公司未能及时做出决策),这促使了数据高管的招聘。在这类招聘之前,公司通常已经有数据专业人员。他们通常未集中在一个职能部门,或者虽已集中但仍是低级别的专业人员。在我们进行职能结构化时,我将从上而下地定义这些职能的角色和结构,从 CDO 开始,但要认识到他们通常不是第一个存在的角色。
CDO 与 CDAO 的区别
CDO最终对公司数据使用的成功或失败负责。这个责任是分散的,但最终,CDO 是设定愿景、使命和成功目标的人,负责使用和保护数据,并引导公司数据相关的各项举措。成功的 CDO 是商业伙伴的真正合作伙伴,了解他们的需求和战略,并为他们提供能够为其成功增值的解决方案。
在撰写本文时,大多数行业现在都有了确立的 CDO(首席数据官)。不同的是该角色的范围有所不同。为了帮助你开始确认作为数据职能负责人角色的范围,或帮助你为组织的 CDO 撰写职位描述,我分享了一个概要,你可以从中开始并根据需要进行定制。
关键是要确保为这个角色招聘的人能够在高层管理中导航,从数据挖掘中创造价值,并通过数据解决方案推动业务成果。虽然一些公司没有在该职位的名称中使用“首席”这一称谓,但我坚信这很重要,因为它为公司其他高层管理人员提供了信誉,表明 CDO 是公司中至关重要的高管。
CDO 角色概述
CDO 将监督其信息资产的管理,重点是建立并确保遵守数据治理政策、标准和实践框架,这些框架需在企业级和集团级实施,目标是实现与业务需求和成果相一致的期望一致性和质量。此人应具备技术技能、商业敏锐度和人际交往能力的平衡,以应对管理宝贵公司数据资产时可能遇到的技术和政治障碍。
主要职责如下:
-
定义数据战略
-
主办企业数据委员会、委员会和工作组
-
数据政策的所有权
-
推动并购(M&A)活动中的数据整合
-
数据计划的监督
-
数据治理和质量
-
从数据中生成商业价值
-
确保数据的可用性
-
主数据管理(MDM)
-
设计和实施数据架构
-
管理数据基础设施和平台
以下图示展示了首席数据官(CDO)团队可能的组织结构:
图 3.6 – CDO 的组织模型
一些组织将其顶级数据领导者称为CDAO。有时这与 CDO 是同义的,有时则不是。在某些组织中,CDO 可能同时负责数据管理和数据分析,而在其他组织中,CDO 可能只负责数据管理。我曾经在这两种定义下担任过 CDO。更少见的是,也可能设立首席分析官(CAO)一职。无论是 CDO 还是 CDAO,职称的差别并不重要,关键在于角色职责的定义和明确性。重要的是要知道,您的组织中所指的顶级数据领导者的职责范围是什么,并确保业务单位和公司职能的一致性。为了本书的目的,我将使用 CDO 来指代那些分析不属于组织的一部分的公司,而 CDAO 则指代分析已包括在组织中的公司。
CDAO 角色总结
公司正在寻找一位经验丰富的 CDAO 来领导公司的数据和分析愿景及战略。在这个角色中,您将负责评估公司当前的数据和分析生态系统的状况,与业务和技术领导者合作,设计并实施一个真正一流的战略,以支持公司近期和长期的愿景。
您将建立并领导一个集中式的数据和分析团队,专注于治理、数据管理、分析和数据科学。
主要职责包括:
-
将数据和分析确立为一项一流的独立职能(例如,集中式)
-
为公司定义整体的数据和分析愿景及战略
-
与职能和业务领导者一起,沟通组织范围内的数据战略和北极星架构、数据基础设施以及工具
-
与安全团队合作,定义一种数据访问策略,既能保护数据,又能推动数据在企业范围内的民主化
-
定义和推动关键数据用例,产生/解锁收入机会,最大化运营效率并降低风险
-
优化客户体验,并推动企业范围内的高质量决策
-
吸引、留住并提升/再培训数据、分析和人工智能领域的关键人才
-
提供数据、分析、人工智能(AI)合作伙伴关系、投资及并购活动的主题专家
数据管理角色
对于 CDO/CDAO 办公室的数据管理部分,我推荐四个核心子职能:数据治理、数据解决方案、数据工程/架构和数据运营。你可能还希望通过副 CDO(如其名所示)、幕僚长和/或项目经理等角色来补充你的领导团队。根据公司的规模和团队情况,你可能还需要添加其他角色。请将此视为一个建议的职能集合,而非详尽无遗的清单。根据你的行业需求,可能需要专门的领导者。
在建立数据职能时,最重要的招聘职位,且通常被低估的,是数据治理和战略领导者。此领导者将负责汇聚整个组织中的关键数据专业人员,与首席数据官(CDO)共同定义公司战略,并成为负责在组织内推广这一战略的主要人物。此领导者还将组建一个团队,负责管理企业数据委员会/委员会及实践社区,推动数据素养项目,并监控他们为公司制定的政策和标准的合规性。没有此人到位,公司很难设定衡量标准。在第四章,基准化组织中,我们将深入讨论如何衡量成熟度,理想情况下,数据治理和战略领导者也会衡量组织的成熟度,你将需要他们来执行第四章中概述的内容,基准化 组织。
数据治理和战略领导者的概述
数据治理和战略领导者负责与 CDO 合作设定数据战略,并在整个组织中制定和实施数据治理政策和程序
这包括开发数据治理框架、识别和分类数据资产,以及建立数据质量标准。数据治理领导者还将与各业务部门合作,确保遵守数据治理政策和程序。
责任包括以下内容:
-
制定和实施数据治理政策和程序
-
识别和分类数据资产
-
建立数据质量标准
-
与业务部门合作,确保遵守数据治理政策和程序
-
进行数据审计和评估
-
开发并提供数据治理培训
-
管理数据治理计划
以下是所需的资格要求:
-
拥有 10 年以上的数据治理经验
-
具有数据建模、数据仓库和数据分析经验
-
具有数据质量管理经验
-
具有数据安全和合规性经验
-
出色的沟通和人际交往能力
-
强大的分析和问题解决能力
-
能够独立工作并能作为团队的一部分工作
数据解决方案领导者
我建议的第二个职位是数据解决方案领导者。这个角色也可以称为数据管理解决方案领导者、数据赋能领导者或类似职位。该角色也可以分拆为如元数据领导者、数据质量领导者和主数据领导者等职能。这个领导者和/或其子职能负责为公司赋能数据能力。他们应该设定能力要求,与 IT 部门合作选择适合公司需求的工具,并与业务部门和公司职能合作,确保这些工具的使用符合首席数据官办公室制定的政策和标准。领导者还将确保首席数据官办公室在处理任何直接负责的数据时(即通常所说的主数据;更多内容请见第十章,主数据管理)正确使用这些能力。
数据解决方案领导者总结
数据解决方案领导者负责为公司提供数据管理工具。这包括开发和实施产品管理流程,以及与跨职能团队合作,确保数据管理计划的成功。
理想的候选人将具有扎实的数据管理原则和技术的理解,以及产品管理经验。他们还应该能够有效地与公司各级利益相关者沟通和管理。
责任包括以下内容:
-
制定和实施数据管理工具的产品管理流程
-
与跨职能团队合作,确保数据管理计划的成功
-
开发和维持与关键利益相关者的关系
-
了解最新的数据管理技术和趋势
-
参与公司数据管理战略的制定
以下资格要求:
-
5 年以上数据管理经验
-
3 年以上产品管理经验
-
深刻理解数据管理原则和技术
-
出色的沟通和人际交往能力
-
独立工作和团队合作的能力
-
同时管理多个项目的能力
-
强大的分析和解决问题的能力
-
注重细节
信息架构师
我推荐的第三位员工是信息架构师。信息架构师负责为公司提供可获取的信息。理想情况下,这个人将设计信息通过系统、解决方案和洞察力的架构设计,供用户消费的方式。这个角色在重大项目的早期阶段最为有效,确保公司的数据需求与处理、财务等能力平等设计。通常,数据直到重大项目的后期才被纳入,这使得通过转型赋能公司变得更加困难。你的更广泛的数据架构团队将在设计跨组织的数据流动中发挥关键作用,以确保数据流的优化,并支持公司广泛的需求。
信息架构师的总结
信息架构师负责公司数据架构的设计和实施。理想的候选人将深刻理解数据建模、数据仓库和数据治理。他们还将具备产品管理经验,并能够与跨职能团队合作,设计和部署数据驱动的解决方案。
职责包括以下内容:
-
设计和实施公司的数据架构
-
开发和维护数据模型
-
创建和管理数据仓库
-
实施数据治理政策
-
与产品经理合作设计和部署数据驱动的解决方案
-
分析数据以识别趋势和机会
-
跟进最新的数据技术
以下资格要求:
-
5 年以上数据架构经验
-
拥有数据建模、数据仓库和数据治理的经验
-
拥有产品管理经验
-
强大的分析和解决问题的能力
-
出色的沟通和人际交往能力
-
独立工作和团队合作的能力
数据工程领导者
当你开始招聘之前提到的职位时,作为优先事项,尽早招聘或集中招聘数据工程专业人士会非常有用。数据工程师通常比前述职位稍微容易招聘;然而,优秀数据工程师的竞争依然激烈,尤其是在新兴技术或特定领域,如主数据(master data)等稀缺的深度经验人才。数据工程师负责在数据团队内提供工程解决方案,并供公司各部门使用。你的数据工程团队还可能会创建经过筛选并可信赖的数据集或视图,供全公司使用。通常,数据工程师还负责构建 API、数据交换,并广泛地在组织内移动数据。
数据工程负责人总结
数据工程负责人将为公司提供数据工程能力。在此角色中,您将负责领导数据工程师团队,开发和维护我们的数据基础设施。您还将与产品经理合作,了解他们的需求,并制定满足这些需求的解决方案。
职责包括以下内容:
-
领导数据工程师团队开发和维护我们的数据基础设施
-
与产品经理合作,了解他们的需求,并制定满足这些需求的解决方案
-
设计和实施数据管道和数据仓库
-
制定和实施数据质量及治理政策
-
监控和优化数据性能
-
紧跟最新的数据工程技术
以下资质要求:
-
5 年以上数据工程经验
-
有大数据技术的经验,如Hadoop、Spark和Hive
-
有数据仓库技术的经验,如Redshift、Snowflake和BigQuery
-
有使用数据可视化工具的经验,如Tableau、Power BI和Looker
-
有产品管理方法论的经验
-
优秀的沟通和团队合作能力
-
强大的分析和问题解决能力
-
能够独立工作并作为团队的一员协作
数据运营负责人
最后,数据运营团队负责管理团队的日常运营,可能还负责处理错误、手动移动或匹配主数据平台中出现的异常数据或不匹配记录。理想情况下,数据运营团队还可能承担数据修复的责任,即修正数据问题。在许多数据转换过程中,有时需要对数据进行批量修复或分组修复,以准备将数据迁移到新平台。数据运营团队可以为公司提供此类服务。
数据运营负责人总结
数据运营负责人负责制定和执行公司的数据运营战略。这包括设计和实施数据管道、管理数据质量,以及确保遵守数据治理政策。数据运营负责人还将与跨职能团队合作,开发和实施数据驱动的解决方案。
职责包括以下内容:
-
制定和执行公司的数据运营战略
-
设计和实施数据管道
-
管理数据质量
-
确保遵守数据治理政策
-
与跨职能团队合作,开发和实施数据驱动的解决方案
以下资格是必需的:
-
5 年以上的数据运营经验
-
拥有数据仓库和数据湖的经验
-
拥有数据质量和数据治理的经验
-
拥有大数据技术的经验
-
拥有 SQL 和 Python 的经验
-
优秀的沟通和人际交往能力
-
强大的分析和问题解决能力
-
独立工作和团队合作的能力
人工智能考虑事项
在撰写本文时,人工智能已经成为与数据相关的几乎所有对话的主题。像我这样的许多数据从业者对人工智能的潜力感到兴奋,但也希望看到在人工智能实践中应用治理。由于支持人工智能的数据治理需求,数据专业人员的需求比以往任何时候都要高。主要的问题包括以下内容:
-
如何确保用于训练人工智能的基础数据集是合适的?
-
如何保护提示?它们是否被保留?
-
如果将知识产权(IP,例如源代码)输入到开源人工智能解决方案中,我们如何保护它?
-
我的数据是如何受到保护的?
-
GenAI 产品是如何训练的?数据会发生什么?
-
我们如何确保输入和输出在道德上得到处理,并符合我们公司的价值观?
关于人工智能有很多需要定义的内容,而且变化的速度只会加快。许多组织希望其首席数据官(CDO)帮助定义他们应该采取哪些措施,以在人工智能的数据使用方面建立适当的实践。作为您组织的数据负责人,您应当对此负责,并急需优先考虑这个领域。随着全球监管者预计进行监督,确保公司定义数据治理和伦理使用实践,特别是如何将数据用于机器学习(ML)和大型语言模型(LLMs)的优先级,是至关重要的。
另一方面,您也可以考虑如何利用人工智能推动数据解决方案的卓越性。这个话题复杂且发展迅速。我鼓励您关注这些领域,因为随着新机会的出现,您可以利用人工智能。需要考虑的关键领域如下:
-
数据质量:AI 可以通过识别和修正错误、不一致和缺失值来提高数据质量。这有助于确保数据在决策过程中是准确可靠的。
-
数据隐私:AI 可以通过数据匿名化或假名化以及实施访问控制来保护数据隐私。这有助于确保数据不被滥用或泄露给未经授权的人。
-
数据安全:AI 可以通过检测和防止网络攻击以及实施数据加密来保护数据安全。这有助于确保数据不会丢失、被盗或被篡改。
-
数据合规性:AI 可以通过识别和修复合规风险来确保数据符合规定。这有助于确保组织遵守适用的法律和法规。
值得注意的是,AI 是一个快速发展的领域,随着 AI 技术的发展,数据治理团队对 AI 的考虑将不断变化。
如何构建以结果为导向的团队(以及原因)
虽然本书主要关注数据治理和数据管理团队的部分,但我还是想简要谈一下团队结构中的分析侧。坦率地说,我认为有无数种方式来构建分析团队结构,正如你可以在 John K. Thompson 的《构建分析团队》一书中进一步阅读到的那样(这是一本对于任何想要推动分析卓越的人的极好书籍)。有一些优化分析的方法,我在自己的团队中也曾应用过。在所有这些方法中,都基于我希望优化的业务成果。
首先,如果你专注于内部工作,目标是推动运营卓越、对齐高层指标,或者仅仅是支持内部运营功能,那么一个简单的单一团队可能是最佳选择。在我们优化公司内部需求时,我曾将分析团队整合到一个单一的分析领导下。其次,如果你专注于改进产品和其中的工程工作,那么我建议按业务单元(BU)来对齐分析团队。例如,如果你有软件和硬件两个业务单元,可以将你的分析团队分为软件分析团队和硬件分析团队。其优点是,团队现在可以集中精力,紧密对接所支持的业务领域,深入学习其驱动因素,并能够为利益相关者优化。缺点是,你必须亲自作为这两个团队之间的连接纽带,确保它们的对齐,并确保两个团队在需要合作取得成功的地方能够顺利衔接。
另外,根据你的业务性质,你可能也会非常专注于客户(不论业务类型,我希望你能专注于客户)。这种对外部利益相关者(市场营销、销售、客户成功)的关注,可能会导致为销售、市场营销和客户成功分别建立独立的分析团队,或者建立一个专注于客户分析的团队。在所有情况下,你应该以你要解决的成果为优化目标,并且不要害怕随着优先级的变化进行调整。当你组建团队时,可能会有一些亟需解决的紧迫问题;可以通过相应的团队结构来优化这些问题。然而,随着职能的发展,不要犹豫做出调整。毕竟,唯一不变的就是变化。
构建数据业务的节奏
在组织团队时,另一个必须尽早解决的优先事项是建立数据业务的节奏。在我曾经领导的所有数据项目中,我早期低估了这一点的重要性,并且不得不从后果中吸取教训。当你进入角色,倾听业务、团队并制定战略时,你的团队仍然在做……一些事情。在你与同行和高层管理人员合作,了解公司和团队未来的优先事项时,了解团队内部正在发生的事情至关重要。
我建议给团队分配一个人负责建立组织中正在进行的项目、计划和日常业务(BAU)工作的清单。项目负责人或幕僚长是一个非常适合带领这个工作的角色。根据我的经验,数据领导者通常不会把项目管理作为优先事项,因此,我还没有在任何一个数据领导职位上看到过明确而全面的项目管理。如果你们团队已经有了这样的安排,那就大有可为。如果没有,赶紧开始识别团队正在做的工作,并尽快完成。越早了解团队已经在进行的成果,越早能够识别快速成功的机会,并优化团队以确保成功。
作为这个项目管理工作的组成部分,我建议你设立一个例行论坛,来审查数据业务组合。理想情况下,你应该定期获得团队正在进行的工作、取得的进展、利益相关者的成果(注意:不是数据结果,而是你服务的利益相关者从团队的工作中得到的体验)、问题和风险,以及即将到来的里程碑的更新。团队是否需要你的支持才能推进?是否存在成功的障碍?这些见解还将帮助你在与高层利益相关者开会时做好准备,这样你在建立关系时就不会感到措手不及。你可能希望为此目的设立一个数据业务项目审查,至少每两周一次。当你在角色上逐渐进入状态时,你可以要求每个直属下属设定一个时间,向你更全面地汇报他们负责的项目部分,这样你可以在进入常规审查之前,深入了解具体情况。
当你开始汇聚组织内的关键领导者,来共同管理数据(作为公司的一项团队运动)时,你应该建立几个论坛,继续保持关键利益相关者的积极参与,支持公司的数据成果。最终你将拥有几个不同的论坛来实现这一目标,我将提供每个论坛的示例章程,你可以利用这些来启动工作。
企业数据委员会
当你开始与高层同事互动时,邀请他们加入企业数据委员会或委员会。如在第一章《什么是数据治理?》和第二章《如何建立支持者联盟》中所讨论的,这个论坛作为你的数据领域高层的联合平台。这个论坛也为优先排序项目、确保将正确的资金分配到合适的数据计划,并确保出现的问题能得到适当的可见性和优先级,以便由数据运营团队或公司各数据负责人进行必要的修复。这个小组应当影响并批准公司的数据战略及相关的转型。一个精心策划的数据业务项目摘要,可能是一个有用的视图,可以作为附录共享给委员会,或者在离线更新中分享。
企业数据委员会的示例章程
目的
数据治理委员会负责为组织制定和实施数据治理框架。该框架将确保数据得到有效和负责任的管理,并且支持组织的战略目标。
重要性
数据治理框架很重要,原因有几点。首先,它有助于确保数据的准确性、完整性和一致性。第二,它有助于保护数据免受未经授权的访问、使用或披露。第三,它有助于确保数据的使用符合法律法规要求。第四,它通过提供可靠和相关数据,帮助提升决策质量。
关键代表
数据治理委员会应包括来自组织中所有使用数据领域的高层管理人员(C-suite 领导),包括以下人员:
-
信息技术
-
业务单元(BUs)
-
法务
-
合规
-
人力资源
-
财务
关键角色 和责任
数据治理委员会负责以下事项:
-
制定和批准数据治理战略
-
监督数据治理战略、政策和框架的实施
-
监控数据治理框架的有效性,基于 CDO 和企业数据委员会报告的信息
-
提出改进数据治理框架的建议
-
资助员工在数据治理方面的教育和培训
-
向首席执行官和董事会报告数据治理活动
-
会议安排
-
数据治理委员会将每季度召开一次会议。
沟通计划
数据治理委员会将通过多种渠道与员工沟通,包括以下方式:
-
电子邮件
-
内部网
-
市政厅会议
-
一对一会议
评估计划
数据治理委员会将每年评估一次数据治理框架的有效性。
企业数据委员会
委员会可以作为在向组织高层汇报和审核之前的讨论平台。虽然一些 C-suite 成员可能会参与企业数据委员会,但其他成员可能不会。因此,确保与合适的人员共享正确的信息是沟通计划的关键组成部分。通过委员会预览信息可以带来好处:你可以在向高层汇报前从委员会获得反馈,并且,你可以让委员会成员帮助争取他们管理层(通常是 C-suite)的支持。
企业数据委员会的示范章程
目的
数据治理委员会是一个跨职能的高级领导团队,负责设定战略方向并监督组织名称的数据治理实施。该委员会将制定和实施政策和程序,确保在整个组织中有效管理数据。
重要性
数据对组织名称而言是一个关键资产。它用于做出决策、开发产品和服务、以及改善运营。有效的数据治理对于确保数据得到负责任和道德的使用,并且保护数据不被未经授权的访问和披露至关重要。
关键代表
数据治理委员会将包括来自以下部门的代表,通常是他们所支持的 C-suite 成员下的 1-2 级人员:
-
信息技术
-
法务
-
财务
-
人力资源
-
市场营销
-
销售
-
运作
关键角色和责任
数据治理委员会将拥有以下关键角色和责任:
-
制定和实施数据治理政策和程序
-
监督数据治理计划的实施
-
监控数据质量和合规性
-
解决数据治理问题
-
推荐在数据领域之间的优先级排序
-
教育和培训员工关于数据治理的知识
报告结构
数据治理委员会将向数据治理委员会报告,后者是负责组织名称数据治理的最高层级机构。
功能角色
功能数据角色是指在业务单元(BU)或公司职能部门中,负责管理和使用数据的人。这些角色包括通常认为的数据分析师、数据科学家、数据工程师和数据架构师等角色。它们还包括定义数据责任的治理角色,如业务数据管理员、技术数据管理员和数据运营负责人。
功能数据角色对于任何希望有效利用数据的组织至关重要。它们帮助企业理解数据、识别趋势,并做出更好的决策。
在大组织中,每个业务单元或公司职能内可能有多个功能数据角色。功能数据角色的具体职责将根据组织和行业的不同而有所不同。然而,所有功能数据角色的共同目标是利用数据帮助组织实现目标。功能数据角色是任何希望在数字时代取得成功的组织的关键部分。通过有效使用数据,组织可以改善决策、提高效率并创造竞争优势。
对于每一个数据领域(即逻辑分组的数据,例如销售、市场营销、产品和人力资源),应该从三个关键角度定义责任:
-
通过一个高层数据 领域领导实现高层责任制
-
通过一个业务 数据管理员实现数据责任制
-
通过一个技术 数据管理员实现数据责任制
你可能已经注意到,我没有使用“所有者”一词,而是用了“责任”。使用“数据受托人”或“管理员”等术语会促使个人明确自己的责任,即确保数据被适当地管理,供他人使用。这与“所有权”的心态大不相同,“所有权”往往意味着没有共享的环境。数据管理的唯一目的是妥善照看数据,并将其用于预定的价值。所有权会阻碍实现这一目标,因此不推荐使用。数据是企业资产,应当被如此对待。数据管理员的角色是确保数据能够作为企业资产得到有效使用。
执行数据领域领导者
执行数据领域领导者是一位高级主管,通常是中型组织的 C-suite 成员,或在大型组织中是 C-suite 下一级的负责人,最终负责确保其数据领域内的数据得到适当管理,团队遵循首席数据官(CDO)的期望,包括数据战略、数据政策和流程以及任何支持性框架。他们还负责在其领域内进行数据赞助,并确保为领域特定的工作提供适当的资金支持。
执行数据领域领导者负责任命业务数据管理员和技术数据管理员,管理其领域内数据资产的日常维护。
业务数据管理员
业务数据管理员负责确保业务使用的数据的质量、准确性和一致性。他们与业务用户合作,了解其数据需求,然后制定和实施数据治理政策和流程。他们还会监控数据质量,识别并修正任何问题。
这些领导者通常在业务部门(BU)和/或数据领域内工作,可能负责大量数据资产或仅负责少量数据资产。虽然每个数据领域至少需要一名业务数据管理员,但通常会有很多。
技术数据管理员
技术数据管理员负责数据管理的技术方面,例如数据建模、数据仓库和数据集成。他们与 IT 专业人员合作,开发和实施数据管理解决方案。他们还会监控数据质量,识别并修正任何问题。这些领导者通常在技术部门和/或业务 IT 职能中工作,可能负责大量数据领域或仅负责一个数据领域。虽然每个数据领域至少需要一名技术数据管理员,但也可能有多个,具体取决于公司规模和复杂性。
简而言之,业务数据管理员专注于数据管理的业务方面,而技术数据管理员专注于技术方面。然而,他们是密切的合作伙伴,应当以此身份共同工作,确保数据作为企业资产得到良好管理。
人才发展
最后,建立公司高效数据实践的最后一个,也是至关重要的组成部分是管理人才。我不得不花点时间讨论如何有效地管理数据人才。在我担任的各种数据职位中,找到并招聘最优秀的人才一直是一个挑战。几乎每家公司都在招聘数据人才,因此,确保你在满足短期需求的同时,也在为长期构建人才管道,同样重要。
招聘人才
作为领导者,我发现招聘人才的最佳方式之一就是保持可见性。通过在当地大学参与公开演讲、指导高中生、和/或参与本地技术组织,你可以了解市场上新兴的人才。在你需要人才之前,你和你的领导团队应该意识到那些高质量的新兴人才。注意你所合作的学校和组织,确保从广泛多样的视角审视人才。提供实习机会是提前与新兴人才合作的一个好方法,为后续全职招聘做好准备。
扩大人才管道
有一些非传统的方式可以帮助你扩大数据人才的管道,我也曾在这些方法上取得过成功。首先,考虑在团队内部进行跨学科轮岗,同时也与业务部门进行轮换。考虑让你的团队成员轮换到他们所支持的业务部门工作(同时让业务部门的人进入你的团队),并与业务部门商定一个时间期限。你是否有风险让团队成员永久地转到业务部门?是的——然而,这也可能让更多具备数据素养的人员进入业务部门,他们可以成为你团队以及你所做工作的支持者。如果你愿意接受,这仍然是一个好的结果。理想情况下,那位员工会带着对所支持业务的全新视角回到你的团队。
我还建议你思考一下你的招聘标准。对于所有职位,你真的需要四年制大学学位来作为资格要求吗?还是四年的在职培训就足够了?那么,2 年的大专学历呢?你接受证书吗?你在列出要求时,究竟是希望从技能角度获得什么?我并不否定大学教育的重要性;然而,有些职位你或许可以拓宽视野,挖掘一个全新的候选人群体,这些人群你原本可能不会考虑。
招聘相关或相邻的角色也是拓宽招聘选项的一个好方法。例如,之前定义的数据项目领导者的职位,可以从公司内部的项目管理办公室(PMO)招聘和培养。或许他们已经接触过你的团队,并能将 PMO 团队的严谨性带到你的组织中。总的来说,超越传统招聘标准的思维方式,可能会创造出一个比你原先考虑的更加多样化、创新且深厚的人才池。
提升技能与再培训
最后,在考虑实施新技术或设计新解决方案时,要思考如何提升或再培训你的团队。虽然通过补充具备新技术或解决方案的专家可能会有帮助,但不要忽视那些积极进取的团队成员想要学习新知识的愿望。我见过数据专业人员在迁移到新技术时替换掉整个团队,这导致了业务的巨大干扰和机构知识的丧失。在解决人才短缺问题时,要保持开放的心态并富有创意。
本章包含了关于如何构建团队、可能需要的关键角色以及如何管理人才招聘/发展等诸多考量。可以说,有无数种组合和角色搭配需要考虑。最终,你可以根据自己的偏好来构建团队;然而,至少要考虑你正在努力达成的目标。确保你与最困难问题之间的距离尽可能近,这样你才能专注于公司的优先事项。
结论
在你着手为团队建立合适结构时,请记住——完美不是目标。开始行动。如果随着时间的推移需要做出调整,尤其是当你公司的数据管理能力逐渐成熟时,你需要随着发展进行调整。不要害怕这样做。我发现,提前与团队设定预期,说明可能需要不断演变,是非常有效的。唯一不变的就是变化,随着成功的到来,也会有改变、增加团队成员、优化和重组的需求,而这正是好事。这意味着你正在产生影响。选择适合你的模型,根据公司独特需求进行调整,然后开始行动。基于正确的信息越快做出改变,你的团队成员就会越受益,并且他们可以尽早专注于交付。
参考文献
-
[
www.dbmaestro.com/blog/featured/the-evolution-of-the-chief-data-officer#:~:text=According%20to%20LinkedIn%20(Sep%202022,companies%20across%20all%20business%20segments
](https://www.dbmaestro.com/blog/featured/the-evolution-of-the-chief-data-officer#:~:text=According to LinkedIn (Sep 2022,companies across all business segments)
第四章:为你的组织设定基准
衡量成功的一个关键要素是衡量你的进展。要有效做到这一点,你需要了解自己的起点。在本章中,你将学习为整个组织和单个项目定义基准的重要性。接下来,你将学习如何捕捉基准以及应与谁沟通。最后,我们将讨论如何在开始工作之前确保对基准达成一致。
有很多方法可以为组织设定基准,以便衡量你的影响力,但最常见的一种方法是使用数据成熟度模型。在我过去十年领导数据转型的过程中,有一件事是肯定的:拥有一个强有力的基准对你和你的利益相关者都非常有益。它为你提供了一个展示机会,能够证明你作为领导者,在任期内所带来的影响,以及你的团队所取得的可量化进展。
我们将讨论如何为每个解决方案或产品逐个提供离散价值的问题。也需要能够在企业层面展示数据管理成熟度的系统演变。我们将讨论为何衡量成熟度很重要、衡量成熟度的不同方法、如何让利益相关者参与、如何定期重新评估以展示进展,以及强有力沟通的重要性。不要低估在这个层面上衡量进展的重要性。它是展示你价值和衡量进展的最佳方式之一。
什么是数据管理成熟度模型?
数据管理成熟度模型是一种衡量框架,用于评估一个组织在数据管理方面的整体成熟度。换句话说,它衡量公司在数据管理方面做得如何。评估通过类别提供分数,提供公司整体的成熟度水平,并指出需要改进的领域。成熟度评估是主观的。有一系列方法可以最小化主观性,我将在接下来的几页中进行详细介绍。数据管理成熟度模型分为不同的类别,并进一步细分为每个类别的成熟度级别,这有助于最小化但不能完全消除主观性。
一个非常简单(非数据)示例就是衡量某物的灰度程度:
图 4.1 – 灰度程度的视觉示例
在这个例子中,这些颜色都没有错,它们仅仅是从最浅的灰色到最深的灰色,逐步衡量当前的状态。当前的颜色只是告诉我们我们现在的状态。当前颜色与目标颜色之间的差异,类似于数据管理成熟度评估,告诉我们距离最佳状态还有多远。这个等级并不是“错误”的,它只是告诉我们距离最优状态还有多远,也告诉我们自上次评估以来取得了多少进展。
如果这是你第一次进行数据管理成熟度评估,那么你正在开始建立一个基准。这仅仅是公司当前状态的快照。你需要向相关方明确说明这个背景,他们可能需要帮助理解基准意味着什么,不是因为他们不理解成熟度模型,而是因为有些人可能会觉得低分代表低成熟度。你需要确保他们理解这只是一个基准,并且随着你们共同合作,这个分数会逐步提升。
这个基准将让组织了解目前的状况,并可用于与同行业中类似公司的对比。例如,如果你是银行,且你们的平均数据管理成熟度为 2.5,而行业平均水平为 3.5,那么你就知道自己落后于同行。
成功提示 |
---|
不要将成熟度模型与数据战略或方法论混淆。方法论非常有用(例如,DAMA),它们定义了能力的内容、部署程序以及提供数据解决方案的方法。而成熟度模型不是实施计划,它们评估的是你在数据旅程中的当前位置。 |
过程概述
在深入细节之前,让我们先预览一下数据管理成熟度过程。这个过程可以分为 10 个简单的步骤:
-
定义评估范围:将包括哪些数据和流程?
-
组建利益相关者团队:这个团队应当包括来自各个层级以及不同部门的代表。
-
选择一个数据管理成熟度模型:有多种不同的模型可供选择,选择一个适合你组织需求的模型。
-
执行评估并收集数据:这些数据可以通过问卷调查、访谈和文件审查来收集。
-
分析数据:利用数据来识别组织数据管理实践中的优势和劣势。
-
沟通结果:将评估结果告知所有相关方。
-
制定改进计划:根据你的发现,制定一个改进组织数据管理实践的计划。
-
实施计划:这可能涉及对政策、程序或技术的更改。
-
监控进展:跟踪你的进展,并根据需要对计划进行调整。
-
重新评估你的成熟度:定期重新评估你组织的数据管理成熟度,确保你在不断取得进展。
图 4.2 – 数据管理成熟度评估的阶段
在本章中,我将详细讲解这十个步骤,并解释如何应对每个步骤中的挑战。我还会分享一些我自己的经验教训,帮助你避免问题,并拥有一次愉快的数据管理成熟度评估体验。
为什么你应该为数据管理成熟度设定基准
当你完成第二章《建立支持者联盟》和第三章《建立高效能团队》时,你还应该启动数据管理成熟度评估(理想情况下,应同时进行)。这个过程将帮助你通过标准化方法,横向了解公司在整个组织中的数据成熟度,进而帮助你发现自己或团队未能发现的盲点,并识别在评估公司需求时可能存在的任何偏见(无论是无意识的还是有意识的)。此外,它还将帮助识别利益相关者是否意识到他们所在领域的成熟度水平,或者是否对此毫不知情。这将通过帮助他们了解公司现状,进一步帮助你建立与利益相关者的关系。
确立基准的基础理由
你需要从理解并传达此次评估的目的开始。你的沟通应该围绕一个基本问题展开:我们为什么要进行这项评估?执行数据成熟度评估的核心理由有五个,帮助你顺利起步:
-
建立理解:如前所述,完成成熟度评估最常见的原因是衡量公司数据实践的现状。第一次评估将为你提供所需的基准,帮助你全面公正地了解公司的现状。每次后续执行评估时,将衡量进展(稍后会详细介绍)。
-
为数据战略提供信息:初步基准的结果将部分为你的数据战略提供参考。通过清点公司在数据成熟度方面的现状,你将更清楚地了解哪些领域需要改进,尤其是在数据治理的整体状态上。请注意,仅仅因为某个领域不成熟,并不意味着你应该将所有资源投入其中。请参见#8 实施计划,了解如何根据这些结果做出决策。
-
评估信息风险:评估的一个关键结果是了解当前数据管理/治理状态对组织构成的风险有多大。如果控制措施有限,值得与首席信息安全官(CISO)一起调查数据的保护措施是否到位,特别是在数据治理控制措施不足的情况下。如果数据治理和信息安全都不成熟,你可能会面临一个严重的问题。评估结果以及与 CISO 的讨论将成为你与高层管理层汇报时的关键议题。
-
优先考虑解决方案:在你逐步了解组织的数据管理现状时,你会开始看到改进的机会。根据我的经验,通常会有一些机会的“异常点”,即公司数据管理中存在的内在弱点。例如,如果元数据管理较差,很可能需要优先启动元数据管理改进项目。
-
提升公司对数据价值的理解:评估的一个最大好处不一定是评估本身,而是评估过程中围绕数据展开的对话。你会发现一些之前可能没有接触过的人,因这项工作开始提出问题。要拥抱这些问题。即使是一个对立的同事,只要以开放的心态和好奇的态度进行交流,也可能带来意想不到的成果。鼓励他们提问,并欢迎在评估过程中任何微小的教育机会。此外,一些人可能未意识到他们现有的工作中已经获得了多少收获。整个过程将帮助更好地理解数据今天是如何被使用的,或者如何未被使用。
对于为什么要启动组织数据成熟度基线评估,要保持自信。这个过程对你来说可能会感觉不自然,可能对你的一些利益相关者也是如此。对某些人来说,这可能像是一次审计或合规性工作。如果你能事先明确为什么要做这件事,你将会得到最大的支持和成功。
与利益相关者沟通时,提醒他们这个过程可能会让人感到不舒服,甚至很难讨论公司现状和/或其功能的实际情况。明确评估结果及其对公司的意义。你打算如何处理这些结果?公开分享可能带来的不适感,并鼓励集体利益相关者群体积极接受它。这是推动变革的一块垫脚石。
执行数据管理成熟度评估
执行评估可能是一个令人紧张的过程。你很可能会遇到一些支持者,也会遇到一些不太支持的利益相关者。至关重要的是,你要有一个强有力的价值主张,能够解释为什么这对利益相关者个人有利(他们将从这个过程中得到什么),为什么这对他们的团队有利,以及为什么这对公司整体有利。
这可能不言而喻,但沟通是这个过程最重要的部分。你的主要责任是保持公正,分享信息,确保跨企业各级别的理解,并推动评估结果,以便为你的战略提供依据,最终提高公司数据的价值。
[#1] 确定评估范围
在准备启动评估之前,你需要定义评估的范围。通常,可能会有诱惑想说“全都包括”然后继续。但在定义数据管理成熟度评估的范围时,你有多个选项可供选择。主要有三种选择,你应该根据你的组织情况,考虑哪种选项最合适。这是一项需要投入时间的工作,无论是对你和你的团队,还是对利益相关者而言。
全企业范围
大多数公司选择进行全企业范围的评估。这是我的推荐做法,只有极少数例外(我会在后文详细说明)。如果你的目标是评估公司数据管理的现状,你需要评估整个公司,以实现这一目标。这也是确定在设置程序、推动变革和/或为整个组织建立能力时,是否存在需要考虑的优势或弱点的最佳方法。
在采取全企业范围的方法时,你应该利用在第二章中定义的数据领域。这将帮助你更好地了解哪些团队更强,或已经成熟到超过其他团队的水平。是否报告此领域模型是一个独立的考虑因素(参见第六节,结果沟通)。
成功的提示 |
---|
如果你没有评估整个企业,便不应声称结果是“企业评估”。我曾在一家公司看到过这种情况;评估只涵盖了公司的一半,但却声称这是“企业”得分。不幸的是,一旦我们对整个公司进行了基准评估,得分实际上比之前报告的要低得多。那些之前不愿参与的团队数据成熟度较低,因此,当他们被纳入基准评估时,平均得分下降了。 |
试点和数据办公室
如果你在获得对这一工作的支持时遇到困难,可以选择单一数据领域来试点这个过程。在与这个数据领域合作时,你将能够与试点数据领域单独合作,并建立更深入的关系。然而,当评估单一小组时,更容易产生偏见。
在评估试点数据领域时,你还应该评估你自己的数据办公室。这可能是一个令人谦卑的经历,因为你可能会发现试点数据领域的成熟度水平比你自己的数据办公室更高(我有过这种经历!)。这不应成为担忧或回避的事情。记住,这只是一个基准,用来为未来的投资提供依据。拥抱这个基准并利用它为自己谋取利益。不要害怕你的团队或试点数据领域的低分。
通常,这些早期的评估会揭示公司数据成熟度的弱点,特别是突出需要投资以推动企业范围采纳的能力(例如,元数据管理、参考数据、数据血缘等)。数据办公室中的低分将突出中央数据团队需要在哪些服务上进行投资,以便在公司内部建立并利用一致的能力。抓住这个机会,展示你们还有多长的路要走。
滚动评估
如果你能够获得企业范围评估的支持,但又没有足够的资源同时推动企业评估,可以使用滚动评估。这是一个适合对过程有高度兴趣但资源有限的情况的好选择。在跨公司进行滚动评估时,保持强一致性变得非常重要。随着你逐步评估各个数据领域,你和你的团队将变得更加高效,甚至可能更加有效;然而,你必须特别注意,确保第一个评估的团队和最后一个评估的团队得到相同的体验和等效的评估。
以下图表可以用来展示你的评估范围。在左侧输入数据领域,包括中央数据办公室的一行。在第二列,输入该数据领域是否在评估范围内(仅在不是所有小组都包括时使用此列)。在第三列,输入基准分数。在最后一列,输入当前分数。除非你打算公开分解结果(见第六章 结果沟通),否则你应该将整个图表视为数据办公室内部使用。
图 4.3 – 示例范围模型
[#2] 确定利益相关者
数据管理成熟度评估的下一步是确定谁负责、谁承担责任、谁需要咨询以及谁需要知情。首先,先识别角色和小组,然后再给角色分配名字。这将帮助你创建一个可持续的方法,便于在公司人员进出时保持一致。
以下是一些额外的建议,用于识别参与数据管理成熟度评估所需的角色:
-
考虑组织内涉及数据管理的不同部门和职能
-
识别那些在数据管理项目成功中有既得利益的人
-
寻找那些对公司数据资产及其如何支持业务决策有深刻理解的人
-
在评估中涉及技术人员和非技术人员的混合。这有助于确保评估全面,并获得所有利益相关者的意见。
负责人
负责执行数据管理成熟度评估的角色,从定义方法论、执行到报告,是你的数据治理负责人。这个人通常向首席数据与分析官报告,并负责评估。
负责
首席数据与分析官 (CDAO) 对公司的数据管理成熟度评估最终负有责任,因为他们对组织内的数据管理承担总体责任。由于 CDAO 还负责推动组织内的数据驱动决策,因此数据管理成熟度评估是 CDAO 了解组织当前数据管理状况并识别改进领域的关键工具。
评估将帮助 CDAO 完成以下任务:
-
识别数据管理流程和程序中的差距
-
评估数据治理政策和实践的成熟度
-
评估数据资产的质量
-
识别改善数据驱动决策的机会
CDAO 可以利用评估结果制定改善组织内部数据管理的计划。该计划应与公司整体业务战略相一致,并应传达给所有利益相关者。
通过对公司数据管理成熟度评估的负责,CDAO 可以确保数据得到有效管理,并且组织能够从其数据资产中获得最大价值。
除了上述原因外,CDAO 还负责公司的数据管理成熟度评估,因为他们有权对数据管理流程和程序进行修改。这一点很重要,因为评估可能会识别出数据管理需要改进的领域。CDAO 可以利用其权威实施有助于组织达到更高数据成熟度的变化。
最终,CDAO(首席数据分析官)负责公司的数据管理成熟度评估,因为他们是公司数据管理的公开面孔。CDAO 负责向公司其他部门传达数据管理的重要性,并确保数据管理被列为优先事项。数据管理成熟度评估是 CDAO 用来传达数据管理重要性并展示数据为组织带来价值的宝贵工具。
被咨询
在数据管理成熟度评估期间,应该咨询以下群体的人员,以便获得广泛的背景信息并进行评分:
-
数据领域高管:数据领域高管负责各自数据领域的管理,因此应该咨询他们,了解当前数据管理的状态,并确定改进的领域。
-
业务数据管理者:数据管理者负责确保数据的质量和准确性,因此应该咨询他们,听取他们对数据质量和治理过程的意见。
-
数据分析师:数据分析师使用数据做出业务决策,因此应该咨询他们,了解他们对数据可用性和数据驱动决策有效性的看法。
-
业务用户:业务用户是最终需要使用数据的人,因此应该咨询他们,听取他们对可用数据的意见以及他们在使用数据时面临的挑战。
-
-
技术数据管理者:IT 人员负责支持数据管理的基础设施,因此应该咨询他们,了解他们对数据管理系统和流程的意见。
除了这些关键利益相关者外,还需要与其他许多人进行咨询,收集背景信息,并提供数据管理的成功与失败案例,例如:
-
拥有公司数据资产深刻知识的主题专家
-
有数据管理最佳实践经验的人
-
参与过之前数据管理项目的人
通过与多方人员进行咨询,您可以全面了解公司数据管理的成熟度,并找出改进的领域。
已知
作为数据管理成熟度评估的一部分,您应该在整个过程中通知多个相关群体。在评估之前,您应该通知您的数据领域高层管理人员和企业数据委员会。您需要他们的支持和认可,以便他们可以与参与者设定期望,并优先处理这项工作。
评估完成后,您需要回去向数据领域高层管理人员和企业数据委员会通报评估结果及后续工作。此外,您还应该向 C-suite 和董事会汇报结果,以便他们理解公司的需求并能协助资助和优先处理数据管理领域后续所需的转型工作。
[#3] 选择数据管理成熟度模型
在开始之前,您需要选择适合贵组织的数据管理成熟度模型。市面上有多种不同的模型,它们各有优缺点,您可以根据需要选择,或者可以选择创建自己的模型。如果贵公司从未进行过数据管理成熟度评估,我强烈建议您选择一个广泛使用的模型,因为它有助于您为评估标准和整体流程提供支持。如果贵公司在数据管理成熟度方面经验丰富,并且发现定制化模型更符合您的需求,那么(仅在此情况下)您可以创建自己的成熟度模型。
常见的行业模型
数据管理成熟度模型是组织用来评估当前数据管理实践并识别改进领域的框架。这些模型通常定义了一组成熟度阶段或层次,每个阶段代表数据管理实践中越来越高的复杂性水平。
一些最常见的数据管理成熟度模型包括以下内容:
-
数据管理成熟度模型(DMMM)由数据管理协会(DAMA)提出(已于 2021 年退役)
-
数据治理成熟度模型(DGMM)由 IBM 数据治理委员会提出
-
数据管理能力模型(DCAM)由 EDM 委员会提出,EDM 委员会是一个非营利性组织,旨在推广数据管理最佳实践
-
Gartner 数据与分析 IT 评分
-
斯坦福数据治理成熟度模型
-
TDWI 数据管理成熟度模型与评估
此外,大多数咨询公司都有自己独有的模型。使用咨询公司专有模型的风险在于它们是专有的。通常,公司会要求继续投入(即资金)以便长期使用该模型。如果您打算在多年的时间里执行评估,这可能不是您和贵公司最具成本效益的选择。
我使用得最多的模型是来自 DAMA 的 DMMM 模型,但该模型在 2021 年已被废弃。DMMM 被 DCAM 取代。DCAM 比 DMMM 更全面,根据我与其他首席数据官(CDAO)讨论的情况来看,DCAM 似乎是之前使用 DMMM 的公司选择的数据成熟度模型。我的建议是选择一个最符合贵公司需求的模型,并坚持使用它,这样你可以建立一致的成熟度对比。
构建你自己的模型
尽管较少见,但一种方法是创建自己的模型或将多个程序的模型进行融合以适应你的需求。在采取这种方法时,确保你有强有力的思维方法至关重要,因为你需要能够解释为什么你的模型是这样设计的,尤其是在某些团队或人员得分较低的情况下。我曾见过某些情况,得分低的团队攻击自创的模型,而不是看评估结果,因此你需要为此做好准备。
下面是如何构建你自己的模型:
-
定义模型的范围:考虑你希望评估数据管理的哪些方面或领域。
-
识别每个成熟度级别的阈值:考虑实现每个级别所需的具体标准。数据管理成熟度模型中的阶段可能有所不同,但常见的阶段包括:
-
临时:数据以反应性和临时的方式进行管理。没有正式的数据管理策略或计划。
-
基础:数据以更结构化的方式进行管理,但仍然没有正式的数据管理策略或计划。
-
可重复:数据管理流程是文档化且可重复的。虽然仍然没有正式的数据管理策略或计划,但已经有改进数据管理能力的承诺。
-
定义:数据管理流程已明确定义并记录。已经有正式的数据管理策略和计划。
-
管理:数据管理流程被积极管理和监控。对于提升数据管理能力有着强烈的承诺。
-
优化:数据管理流程已针对效率和效果进行了优化。数据管理有持续改进的过程。
-
-
开发评估工具:考虑如何收集这些信息。工具可以是检查表、访谈指南/问卷,或是更复杂的工具。它应收集所需的数据,以生成评估结果。
[#4] 执行评估并收集数据
现在我们已经了解了什么是数据管理成熟度模型,你已经选择了参与者,并且已经选择(或设计)了你的数据管理成熟度模型,接下来是时候开始执行评估了。让我们开始执行评估吧!
用例 - 操作系统
注意谁在执行评估。
在我之前的一家公司,我们进行了一次企业数据管理成熟度评估。当时,公司在每个主要部门都设有分布式数据办公室,并且还有一个中央数据办公室。为了进行评估,每位数据官员(包括分布式和中央的数据官员)都需要进行自我评分。这看起来似乎是一个高效的过程,对吧?
错误。
在进行评估之前,我们知道哪些数据办公室成立较久,拥有更多资源和资金,并且更为成熟。但结果却与实际情况不符。为什么会这样?
由于资金分散,一些数据官员利用评估来操控结果。这意味着他们故意将自己的成熟度评分定得较低,以便利用结果为自己的数据项目争取更多的资金,尽管他们比同领域的其他数据办公室更成熟。整体来看,公司的成熟度被低估了,而那些实际更成熟的数据办公室得分却低于那些成熟度较低的办公室。此外,一些数据官员还为自己的项目打高分,以展示影响力和进展。这同样不利,因为这表明数据办公室的成熟度更高,且需要完成的工作较少,以建立可靠、值得信赖的数据资产。
这使得结果无效,管理层感到困惑,最终破坏了数据管理成熟度评估的可信度,同时也影响了各个数据官员的个人信誉。
最终,我们不得不重新进行评估,并雇佣第三方独立进行评估。这使得公司能够得到一个客观的评估,结果也更值得信赖。由于第一次评估的情况,我们不得不进行许多访谈并收集证据来支持评估。我们还通过询问每位数据官员他们从同行那里了解的情况,增加了可信的挑战,以帮助验证结果并揭示访谈中的任何空白。
准备启动
在准备启动评估时,我建议您通过几种不同的方式与相关方沟通,确保他们知道应该期待什么。在企业数据委员会和企业数据理事会的会议中,确保提前充分展示这个主题,尤其是在年度评估之前。在企业数据委员会的会议中,我建议准备一份演示文稿,其中包含以下信息:
-
什么是数据管理成熟度模型?
-
为什么评估成熟度很重要?对公司、数据办公室和数据领域有哪些好处?
-
这些信息将如何使用?
-
他们将如何参与其中?
-
他们需要数据团队提供什么?
-
评估的时间线是什么?我们将如何验证结果?
-
我们什么时候报告结果?报告给谁?
-
在 RACI 模型中,每种角色预期的时间投入是多少?
沟通预期
在启动之前,您需要设定期望,说明这项工作是什么,为什么需要进行评估,评估结果将如何使用,以及为什么这个过程会对涉及的利益相关者带来益处。您还应该与参与评估的人员沟通他们的期望。参与者需要了解在评估过程中将会发生什么、他们需要为时间投入做好哪些准备、结果将如何处理,以及这个过程对他们(以及公司)的意义。参与者需要知道将会发生什么,并了解他们的责任。有效的沟通将成为评估过程中最重要的部分之一。
以下是您可以发送给利益相关者的电子邮件示例,用于启动评估:
数据管理成熟度评估公告电子邮件样本
收件人:所有业务数据管理者;技术数据管理者
抄送:数据领域高管、企业数据委员会成员、首席数据与分析官,以及参与评估的人员
主题:宣布企业数据管理成熟度评估
尊敬的各位利益相关者,
在接下来的几周内,我们将启动一项全公司的数据管理成熟度评估。我们选择了一个评估模型,以衡量公司在一系列数据管理维度上相对于既定成熟度水平的进展。我们选择了业界领先的评估模型:DCAM。您可以在此阅读更多关于该模型的信息:edmcouncil.org/frameworks/dcam/
。
为了支持这项工作,我们要求您在接下来的八周内提供两小时的时间。第一小时将用于与您及您的团队成员进行访谈,讨论您所在部门当前的数据管理状况。没有正确或错误的答案,我们只是想了解我们目前所处的位置。访谈后可能会要求提供一些支持材料,我们将在第一次会议后以书面形式发送这些材料。
第二次会议将包括根据我们成熟度模型展示第一次会议的结果,并为您提供提问、挑战我们假设、编辑内容的机会,以确保我们在进行全公司聚合时有最合适的得分。
最后,我们将把结果与企业数据委员会、执行团队以及董事会共享。您部门的个人得分不会被分享——只有公司层面的得分会共享。我们将提前将材料分享给您,以便您透明地看到所传达的内容。评估结果将有助于未来的资金安排、优先级设定,并帮助我们确定在哪些方面可以提升全公司的数据能力,以便更好地为您服务。
感谢您提前支持这一重要的年度活动。我们很高兴解答您可能有的任何问题。会议将在接下来的几天内从我们首席数据与分析官的日程中安排。
此致,
数据治理负责人
CDAO 办公室
如何启动数据管理成熟度评估
这是一个既可以评估当前状态,又可以教育您接触的利益相关者了解数据管理项目目标和宗旨的好机会。您可以通过这个过程向他们普及核心组件,同时也评估成熟度的状态。特别注意使用的语言。例如,并非每个人都知道什么是技术元数据,但如果您向他们解释这个术语,他们可能会理解,并能更好地表达他们对所在部门元数据管理成熟度状态的理解。
通过将这些评估会议作为双重目的,您或许能更充分地让利益相关者参与讨论,并用它来建立与他们的关系。越多面对面的交流越好。您可以使用研讨会式的形式将相同的群体聚集在一起。我发现这种方式特别有效,因为它给团队提供了一个机会,让他们在通常情况下不会聚集在一起时,能够一起参与。
需要包括的人
如前所述,您的评估应面向最接近数据的人:业务数据管理人员和技术数据管理人员。您可能需要包括来自组织各个部门的多样化人员,特别是如果业务数据管理人员和技术数据管理人员的角色尚未正式化。至少,您应确保每个部门都有代表参与,同时,像信息技术和财务等数据涉及较多的部门应给予更多关注。
不需要包括的人
您可能会遇到一些情况,似乎有些人会突然冒出来参加您的研讨会。可以公开并明确说明谁被选中以及为什么选中。您不希望出现这种情况:公司里的每个数据人员都被包括在内,否则您将难以在分配的时间内完成研讨会。坚持让每个数据领域都有一个业务数据管理人员和一个技术数据管理人员参与评估。如果其他人希望发表意见,可以鼓励他们在研讨会之前与他们所在数据领域的代表沟通。
研讨会与一对一会议
根据您的利益相关者,您可能需要考虑是否最适合安排研讨会还是一对一会议(或两者结合)。理想情况下,您应将研讨会作为默认选择。研讨会能够创造最具包容性的环境,并减少过程中的偏见。然而,某些特定情况下,您可能更希望进行一对一会议。请参见下表,了解两者的具体理由:
研讨会 | 一对一会议 |
---|---|
应该是默认选项可以帮助其他人听到彼此的想法有助于消除偏见推动一致性 | 最适合对立的个体可以在工作坊之前使用,以帮助获得不太支持个体的支持也可以用于非常支持的个体,帮助他们理解自己在指导积极工作坊中的重要角色 |
执行一对一
如果你正在与需要加入流程的人进行一对一工作坊,应该在工作坊之前进行。你可能需要花时间解释为什么这样做,并倾听他们的顾虑。常见的顾虑包括以下几点:
-
希望看到个人结果而不支持聚合
-
害怕低分
-
害怕管理层对其成熟度的看法
-
没有被纳入其中
-
没有被提升为数据领域执行官
-
没有得到公正代表
一定要倾听他们的意见,并尽力安抚他们的紧张情绪,解释原因,并始终保持透明。在这种情况下,事实至关重要。
执行工作坊
你的工作坊需要非常出色地执行。你不应在准备工作坊时马虎,也要方便与会者参与。记得再次强调,成熟度模型只是你用来评估公司在使用数据推动业务成果方面做得如何的工具。大多数模型会分解成关注领域或能力,并提供评分方法来确定公司或部门在该领域或能力上的成熟度。
示例议程
欢迎与介绍 [欢迎与会者并花时间介绍所有参与者]
对齐目的:我们为什么在这里? [解释评估的目的以及与会者可以期待什么 内容]
评估是什么
我们为什么要进行评估
留出时间提问
解释这对与会者有何益处
解释这对公司有何益处
目标和成果:我们将一起实现什么?
主题讨论和评估练习
评分
数据办公室的下一步
收集示例文档(避免说“证据”,因为这可能让人觉得像审计,会改变对话的语气)
聚合评分
与会者的后续步骤:解释接下来会发生什么,何时发生,如何继续参与
感谢并结束
附加成果
由于以工作坊的形式进行成熟度评估,你将能够收集到一些附加成果,虽然这些并不是成熟度评估的本意,但将有助于你整体业务案例的发展,并为未来的战略和举措提供信息。一些附加成果包括:
-
机会的想法
-
举措的想法
-
识别常见主题
-
识别问题区域
-
社区建设
[#5] 分析数据
现在您已经完成了研讨会,过程的下一步是分析数据并准备传达结果。作为此步骤的一部分,您需要分析定量和定性数据。在这次练习中,两者都非常有价值。
数字 – 定量数据
可以说,分析数据中最简单的部分是孤立地查看分数本身。在研讨会期间收集了分数后,您需要将这些分数添加到一个共同的模板中,并进行简单平均以测量公司的聚合数据管理成熟度评分。平均分数将用于向企业数据委员会、高管团队(C 级)、董事会汇报您的结果。业务数据管理者和技术数据管理者也应在执行沟通计划之前收到这些信息。
上下文 – 定性数据
这种分析更具主观性,需要谨慎处理,以确保分析中不会出现偏见。在评估时,请记住以下几点:
-
客观处理:在分析过程中避免做任何假设或过早下结论。想象向利益相关者为这些结果辩护。您的结论是否站得住脚?利用这一思维过程有助于诚信地挑战您或您的团队的评估。
-
保持现实:不要指望一夜之间就完全理解定性数据的评估。这将是一个迭代的过程,需要与参与者反复交流,以确保正确捕捉到他们的见解。在您的时间表中预期这一点。
-
强调协作:您需要在分析的这一部分中涉及利益相关者。确保您的定性数据得到公平代表,并且在传达过程中不会有任何人感到意外。尝试使用如“我想我听到你说 ____,你能确认一下吗?”等短语有助于在结果中建立信任。
-
迭代处理:当您致力于整合发现并报告结果时,您应该期待再次回顾结果,因为您计划改进倡议。在现在和明年进行评估时,预计反复进行。保持文档易于访问供参考。
要分析评估结果中的数据,请按以下步骤顺序进行:
-
确认主要发现:首先列出您在评估过程中听到的所有主要发现。
-
归类发现为主题:您是否看到与客户标识数据质量低有关的问题模式跨组出现?工具缺失?将这些类型的发现归类为共同的桶/主题,以确定您在数据领域中的一致性所在。
-
与成熟度模型对比发现:将这些定性发现与模型进行比较。将它们对齐到每个专题领域,以便您能够看到哪些特定领域需要改进可能会影响您的分数。
-
跨数据领域对比发现:现在评估这些相同的主题在各个数据领域中的表现。某些领域的得分是否较低?这些定性结果在改进讨论中很有帮助。可能某个领域没有获得任何投资,或者他们可能没有意识到可以使用的中心能力。这些定性数据点非常适合用于总结讨论和持续的成熟度规划。
-
寻找根本原因:是否有一个共同的原因导致定性结果如此?因果关系在报告结果时可能很有帮助。高层管理人员可能想知道为什么结果是这样的。如果可能的话,这是一个值得集中精力的领域。
-
优先排序发现:并非每个发现或评论都是同等重要的。重点关注那些对公司实现更广泛战略最具影响力的发现,以最大化影响并确保成果的一致性。
-
制定你的改进计划:你应该收集至少一个前五名的清单,列出你认为公司在评估后需要着重关注的事项。
对齐和达成一致
以下步骤讲述了数据管理成熟度评估中的对齐和达成一致部分。评估本身的执行有时是一个挑战,但最难的是达成对齐。确保获得利益相关者的支持至关重要,以确保他们愿意接受结果,支持实施计划,并与您共同制定数据战略。
[#6] 传达结果
一旦你得到了数据成熟度评估的结果,你需要决定如何传达这些结果。你有多种选择,而且每种执行方式都有优缺点。你可以作为 CDAO 自行决定如何传达这些结果,或者你可以让企业数据委员会共同做出这个决定。无论哪种方式,都可以为你带来同样的好处(我在不同的公司/行业中见过这两种方式都取得了很好的效果)。
传达分解结果
你的第一个选择是通过部门来传达结果。通过部门传达结果意味着将市场部门的市场得分、销售部门的销售得分、工程部门的工程得分等分别给出。你的利益相关者很可能会为他们自己的结果辩护,因为他们觉得自己的得分比与公司其他部分合并后的得分更具关联性。然而,这不是我推荐的方法。根据我在多家公司中的经验,这种分解的报告方式通常会导致数据社区、数据资金和能力的分离。这会导致能力的重复、结果的脱节以及成本的增加。只有在非常有限的几个原因下,我才会推荐分解结果:
-
没有中央团队:当你没有一个完整的团队来帮助公司单独引导各项工作,并且你需要暂时让团队推进工作的同时,你也可以选择这种方法,直到你组建了团队并聘请了领导者。
-
没有数据战略:当公司在数据战略的制定上处于初期阶段时,报告拆分的结果可以显示出公司内部结果的差异性。然而,需要谨慎使用这一方法。有时这会适得其反,可能导致一些个别小组(尤其是那些成熟/强大的小组)主张公司应当合作推动企业级的努力。
优势
拆分结果的优势如下:
-
利益相关者的偏好:利益相关者很可能希望看到他们自己的分数,以便他们能够对结果感到拥有感,并独立于他人采取行动。
-
问责制:利益相关者会感到更多的责任感,因此他们可能会接受结果。
-
行动偏向:团队可能决定立刻采取行动,因为他们清楚了解团队的弱点,以及如何推动问题向前发展。
缺点
拆分结果的缺点如下:
-
利益相关者的不信任:如果没有看到详细数据,利益相关者可能不会相信结果,尤其是当结果与他们的预期不符时。
-
操控系统:当拆分结果被共享时,个别团队可能会被激励夸大他们的成熟度,尤其是在他们想展示自己的成熟度时,或者在寻求资金时低估自己的成熟度。
-
缺乏协作:当团队可以看到各自的独立分数时,他们没有动力合作提升分数。此时他们更倾向于改善自己的领域,而不是跨部门合作。这可能导致各团队投资于自身能力,而不是共同投资于公司范围内的能力,而后者通常更加具备成本效益和效率。
沟通汇总结果
你的第二个选择是传达公司汇总分数。仅在公司层面进行沟通意味着各个部门将不会收到独立的分数,只有汇总的公司分数会被披露。请注意:有些团队可能同意这种做法并认同其理由,但最终他们可能会尝试在未公开记录的情况下披露他们的分数。该方法只有在你坚持使用汇总分数而不披露各个团队的分数时才能奏效。你可以并且应该披露各个团队在异常情况下需要改进的地方(例如,特定的弱项);然而,公司分数就是公司整体的分数。
优势
-
公司视角:仅提供汇总结果能够促使组织接受这一分数,认为它反映了公司在数据管理方面的表现,从而能够促使公司统一行动。
-
合作伙伴关系:汇总的结果可以推动各部门协作,提高标准,而不是各自为战。
-
学习:团队被激励相互分享和学习,以便在公司内推广最佳实践。
缺点
-
个人团队责任:团队可能会觉得自己无需采取行动,且可以依赖更大的组织来提升分数。
-
现有能力可能会退化:如果过度依赖中央团队,并且没有仔细传达现有能力的重要性,去中心化的团队可能不会继续保持其现有能力,这可能导致短期内数据管理成熟度的下降。
程序基准
类似于企业数据管理成熟度评估,你可以为特定的程序进行独立的成熟度评估。这对于那些尚未准备好进行整体公司评估的公司,或者在他们希望评估数据投资在大型转型项目中的提升效果时,是一个很好的起点。
你将执行相同的步骤,只不过是针对程序范围,而非整个数据领域结构。你可能希望通过基准数据质量来补充此评估,以便在程序实施前测量数据的可信度,并在部署结束时再次进行评估,展示针对特定系统、数据集或流程的改善效果。
[#7] 制定计划
在最终确定沟通计划时,你应该同时开始与内部的数据办公室团队合作,并与利益相关者一起制定改进计划。这个计划应专注于你所识别的高优先级发现,并附上负责人、时间表和资金需求。
在制定这个计划时,要带着你的利益相关者一起前进。这是一个非常适合数据实践社区或数据管理工作组共同开发的主题。我建议优先考虑在评估过程中出现的、能为整个数据社区带来益处的共同主题,以及任何显著影响客户、违反法律或合同义务,或具有重大伦理影响的问题。在与公司法务团队和首席隐私官合作时,解决任何法律或合同义务问题。
除了主要问题外,专注于建设能够支持组织内部大多数人的能力是一个很好的起点。例如,如果你对数据来源和去向的可见性或数据质量存在若干问题,你可能希望从部署元数据管理计划和数据质量计划开始。当你阅读本书的第二部分时,我们将详细探讨这些能力的具体内容。
在你制定计划时,考虑哪些能力将产生最大的影响,并关注它们为何会产生这种影响。例如,如果你的利益相关者提到了低质量和低可信度的数据问题,定义出良好质量数据能够让他们做些什么。为什么高质量、可信的数据很重要?这个问题看似很明显,但试着更具体地思考。当利益相关者拥有了这种高质量数据后,他们能做些什么是今天无法做到的?它会影响收入吗?如何影响?你能衡量它吗?怎么衡量?这些答案将帮助你明确需要交付的内容以及如何为高层管理层的认同传达信息。
一旦你确定了要做什么、由谁推动、何时交付以及如何衡量成功,就将这些内容整合进项目计划中。这个计划可以并且应该成为你与企业数据委员会、C-suite 以及潜在董事会(取决于他们对你的数据项目的关注程度)沟通的一部分。你将在第 8 步、第 9 步和第 10 步中使用该计划。
[#8] 执行计划
假设你已经成功获得了第 7 步中制定的计划的认同和资金支持,那么你将执行这个计划。通过利用你的数据管理员工作组和企业数据委员会,带领你的利益相关者一起参与这个过程,报告逐步进展、交付过程中的结果(即,快速获胜)、问题、风险以及你在衡量结果方面的进展。
在执行过程中,不要害羞于宣称成果。如果你看到了业务影响,不要仅仅标记里程碑为完成并继续前进;要求业务用户(不是你的数据管理员,而是最终用户)分享一个他们如何在日常业务中体验到你部署结果的故事。你的数据管理部署是否导致了客户流失率降低?衡量并报告它!
[#9] 监控进展
在执行你在第 8 步中制定的计划时,你应当设置衡量进展的指标。例如,如果你和你的团队要交付的解决方案之一是将 500 个数据资产编入企业数据目录,那么你应该创建一个计分卡,在整个项目过程中跟踪该指标。在执行过程中,将编入目录的资产数量除以 500,得到的百分比可以用来报告给利益相关者和高管团队。
报告和监控进展也是确保每个人都对项目开始时所定义的成功保持一致的好方法。范围蔓延是数据项目中的一个真实风险,因为数据无处不在。同时,数据如何“感知”给利益相关者也是一个风险,因此,衡量和监控数据举措是将改进基于事实而非情感的一个重要方式。
监控进展的结果还可以帮助建立团队交付的信心,这对未来的资金支持也有帮助,甚至可以在最终交付之前就争取到资金。你可以展示到目前为止的投资是按照约定推动进展,并通过这个故事为下一个计划争取更多的资金。
定期以透明的方式报告。你应将衡量结果融入所有与数据相关的项目和计划中,以展示在公司数据成熟度上的投资所带来的影响。当你重新评估你的成熟度(见步骤 #10)时,你可以将这些计划投资的影响与数据管理成熟度分数随时间的提升进行关联。双赢!
[#10] 重新评估你的成熟度
重新评估的频率
你应该制定重新评估的计划。我发现最有用的方法是决定一个评估模式并始终坚持下去。这能为结果提供更多的可信度和一致性,从而在企业范围内获得更好的认同。
我是每年进行一次评估的忠实支持者,作为默认时间表。当然,也可能有一些特殊情况需要调整评估频率:
-
新收购:如果你的公司正在收购新组织,你可能希望要求在交易完成后的 90 天内进行简化版的评估,然后将收购逐步纳入标准流程中。这将突显出需要快速关注的弱点,帮助收购方调整到组织的运营模式。
-
剥离:如果你的公司正在进行剥离,你可能需要作为尽职调查的一部分执行特别目的评估。
-
重大变化:如果某个部门在数据方面做出了重大投资,完成了一个重要项目,或经历了重大重组,它可能希望进行特别目的评估,以显示这种提升作为成功的衡量标准。
衡量成功
在回顾数据管理成熟度评估时,你应当考虑如何衡量评估的成功。一些需要考虑的因素包括:
-
所有相关方都参与了吗?
-
你达成了对结果的认同吗?
-
你收到了来自执行团队多少个问题?
-
董事会对你的进展感兴趣吗?
-
评分随着时间的推移有所改善吗?改善了多少?
你也可以考虑每年进行评估所花费的时间,来判断你的团队是否在提高评估效率,或相关方在过程中的参与度是否更高(在设定持续时间指标时要小心考虑这两点)。
评估结束时,重要的是你们公司如何使用这些信息。如果评估完成后只是被放在象征性的架子上,直到下一次再用,那么它很可能只是一次纸面工作,而没有真正的价值。考虑将你的价值建立在评估如何促进额外投资、引发数据讨论,以及你的数据社区如何相互互动的基础上。这是一个很好的过程,能推动对话,建立社区,并提高对可信数据如何提升公司价值的认知。
结论
在进行基准测试时,确保你做得好非常重要。你的可信度将部分取决于你的基准测试过程有多透明。确保你提前沟通好方法论、分享结果的计划以及受众,这将帮助你的利益相关者认同这一过程。对于你团队的成熟度,也要坦诚相待。通过务实的态度来处理这一过程,你能够建立起信誉,帮助你为公司设计出需要主导的项目。进行这一基准测试是一个很好的起点,它能为你在象征性的高层会议桌上争取到一个值得信赖的、重要的位置。花时间做得好并彻底。
第五章:定义成功与对齐成果
数据管理的范围远大于管理一个成熟度框架。管理框架仅关注提升分数的策略。它可能不会促进使用数据、信任数据以及整体数据管理的提升。我们需要以全新的视角重新审视数据管理。我们需要建立能够扩展的基础能力,而不是在数据量每隔几年翻倍时就增加团队的规模。我挑战你超越成熟度框架(尽管它很重要),进入你利益相关者的思维。
想象一下:你已经成立了一个数据与分析团队。你的团队充满热情,专注于工作,你甚至已经制定了一个出色的战略、易于理解的政策,并设定了具体的里程碑来交付卓越的成果。你按照这个计划执行,并且交付成果超出了预期。
只有一个问题。
没有人相信团队在 创造价值。
这怎么可能呢?你花时间听取了利益相关者的需求;你制定了围绕这些需求展开的计划。你建立了一个强大的项目并拥有良好的沟通渠道,但来自利益相关者的反馈是:这对我并没有什么帮助。
出了什么问题?
这种常见的问题在数据转型和数据能力建设中经常发生,尤其是在预期商业成果的清晰对齐没有得到业务用户在工作开始前的确认和签署时。不幸的是,这种情形经常发生,而唯一的解决办法是在规划阶段定义成功并与结果对齐。
本章将重点讨论许多数据转型失败的领域:与业务相关的成果对齐。大多数数据转型停留在数据成果上,未能转化为最后一公里:即业务如何利用交付的数据能力来推动运营效率、增加收入和获得更好的洞察。在本章中,你将学习为什么超越数据并与业务对齐的成功定义如此重要,如何成功地映射所有相关利益相关者(包括次级和三级利益相关者),以及如何将结果转化为业务术语。
本章涵盖以下主题:
-
能力与成果
-
商业成果和数据能力
-
什么是成功?
-
对齐成果
-
实现商业价值的障碍
-
将价值衡量标准纳入利益相关者图谱
能力与成果
在我们定义成功之前,我们需要从一些关键定义开始。首先,我们需要定义什么是能力和结果,然后将其区分为商业和数据的不同层面:
-
能力:做某事并达到预期成果的能力或容量。
-
成果:事件或情况的最终结果或后果。这可以是正面的,也可以是负面的结果。
请记住,能力会带来结果。对于每个能力,应该明确一个或多个结果。在开始交付能力之前,你应该花时间定义预期的结果。如果你还没有定义,也永远不晚,随时可以为每个能力定义预期的结果。你可能会有预期的结果和意外的结果。例如,我今天锻炼了,预期明天会感到肌肉酸痛。没想到的是,疼痛到走路都很困难。
现在,让我们更清晰地划分业务能力与结果以及数据能力与结果之间的区别:
-
业务能力:定义业务的核心“做什么”。这与“如何”做或者“在哪里”做是分开的。它包含一套技能、资源和流程,使公司能够实现某个目标。
-
业务结果:定义能力的结果。这包括深入理解交付能力的结果。
-
数据能力:定义组织汇聚的技能、流程、技术和资源,利用这些数据来实现特定目标。
-
数据结果:定义数据能力的结果。这指的是通过交付数据能力所实现的结果或后果(正面或负面)。
因为我们最关心的是数据能力,在进入数据结果的讨论之前,让我们深入探讨数据能力的关键组成部分。
能力
特定的数据能力将在本书的第二部分中详细描述,在本章之后;然而,让我们先来明确强大能力的组成部分:
-
技能和知识:这包括数据专业人员的专业知识,如数据分析师、数据科学家和数据工程师。它还涵盖了组织内一般用户的数据素养,这些用户需要有效地理解和利用数据。
-
流程和方法论:这包括用于数据治理、数据质量管理、数据收集、数据分析和数据安全的既定程序。标准化的流程确保了在数据生命周期内处理数据的一致性、效率和可靠性。
-
技术与工具:这包括管理和分析数据所需的硬件、软件和基础设施。它可以包括数据仓库、数据湖、数据可视化工具、分析平台,以及各种特定于数据管理和分析的软件应用。
-
资源:这包括为数据项目分配的财务资源、基础设施维护以及专门从事数据管理和分析的人员。有效的数据能力需要充足的资源来支持必要的流程、技术和人员。
-
文化方面:这指的是一种重视数据、鼓励数据驱动决策,并促进不同部门在有效利用数据方面合作的组织文化。数据驱动的文化对于最大化组织内数据能力的采用和利用至关重要。
这些组成部分共同构成了强大的数据能力。每个部分都是独立必需的,必须在整体上强大才能提供高质量、可信赖的数据能力。如果缺少其中任何一个组成部分,公司将难以成功或在结果上达成一致。总的来说,完善的数据能力使组织能够做到以下几点:
-
从数据中获得更深刻的洞察:通过有效分析和解读数据,组织可以发现隐藏的模式、趋势和改进机会
-
做出数据驱动的决策:利用可靠且富有洞察力的数据可以让组织基于证据做出明智的决策,从而提高效率、效果和竞争优势
-
优化运营和流程:数据驱动的洞察可以帮助识别改进领域、简化流程和优化资源分配,从而提升绩效
-
提升客户体验:分析客户数据可以帮助了解客户行为、偏好和需求,从而改善产品开发、营销策略和整体客户体验
开发强大的数据能力绝非易事,需要随着技术和业务需求的变化不断改进和适应。然而,通过投资必要的技能、流程、技术和资源,并培养以数据为驱动的文化,组织可以释放数据的巨大潜力,并在当今数据驱动的世界中获得竞争优势。
结果
正如我们已经阐明的,构建强大能力所需的内容之后,接下来的任务是明确结果。如我之前所说,结果是公司因能力而体验到的效果。它回答了我最喜欢的一个问题:那又怎样?
我的团队非常了解这个问题,因为它是我最常用的问题之一,帮助我们明确真正的结果是什么,以及它对公司的意义。例如,假设你正在处理以下情况:
-
目标:保持健康
-
能力:跑步
-
结果:在 30 分钟内完成 5 公里
大多数目标失败是因为我们没有明确所需的能力以及期望的结果。如果我们将这种框架应用于数据能力,它可能看起来像这样:
-
目标:确保公司清楚知道它拥有的数据、数据存储的位置、如何进行分类以及谁对其负责
-
能力:近实时元数据(业务和技术)、AI 驱动的分类和数据管理,以及数据目录
-
成果:可搜索的数据环境,以便支持客户合同义务,并能够在您的生态系统中识别其数据,在 24 小时内提供联系人(POCs)
请注意,在这两个示例中,有多种能力可以支持目标,但当您考虑所需的成果时,能力的选择会变得更少,您可以更专注于实现成功所需的内容。在接下来的部分中,我将进一步探讨如何将商业成果与数据能力结合,以便在您的商业利益相关者和数据团队之间实现更强大的对齐。
商业成果和数据能力
传统的数据能力由 IT 部门管理,这也是它们历史上不太成功的原因之一。IT 成功的衡量标准通常是以项目为基础的度量,例如是否达成里程碑,或是预算/时间度量,节省了多少资金或时间。这一早期的数据能力管理方式不可避免地导致了难以衡量和量化的成果,这也是从 IT 成果向以商业成果为重点的成功衡量演变的基础。
有用提示 |
---|
如果您继续以传统的、遗留的 IT(基于项目的)方式或仅依靠预算/时间来衡量数据能力,您可能会发现自己在业务利益相关者和激励机制之间创造了利益冲突。通常,您的利益相关者需要拥有可能无法提高速度或预算的商业成果,但实际上,他们可能会利用增加的预算来推动其他更有意义的事情(例如,收入、客户成功评分或潜在客户识别)。 |
您需要两者
您需要根据商业成果和数据成果建立您的成果框架。首先,您需要与业务方对齐,明确他们所期望的成功是什么,并用他们的术语表达,然后(只有在此之后)您应当将您的数据成果与他们的商业成果对齐,并展示您的交付如何与他们的成果需求相匹配。
如果我们将前面的例子整理成一个简单的框架,可能会是这样的:
第一层级示例 |
---|
目标:确保公司知道其拥有哪些数据,数据存储在哪里,如何分类,以及谁对其负责。 |
商业成果 |
可搜索的数据环境,以便在 24 小时服务水平协议(SLA)内,使客户能够识别其在您生态系统中的数据 |
-
接近实时的元数据(业务和技术)
-
基于 AI 的数据分类
-
数据管理
-
数据目录
|
表格 5.1 – 第一层级商业成果示例
您可能会注意到,将商业成果与将要交付以支持它的数据能力并排放置,可以帮助读者理解为了实现商业成果需要哪些数据能力。
接下来,您应该解释这些能力如何支持商业成果:
第二层级示例 |
---|
目标:确保公司知道它拥有的数据,数据存储的位置,如何分类,以及谁对其负责。 |
业务结果 |
可搜索的数据环境,确保客户合同义务能在 24 小时 SLA 内识别其在你生态系统中的数据 |
-
客户信息系统的近实时元数据(业务和技术)(例如,这可能意味着 5 到 6 个系统,而不是整个公司)
-
基于 AI 的数据分类用于客户信息系统
-
数据治理——客户成功数据领域的高管、业务数据管理员和技术数据管理员
-
适用系统的数据目录
|
表 5.2 – 第二级业务结果示例
如果你向公司提出第一级的例子并请求资金支持,可能很难就成功达成一致。为什么?因为这表明你需要为整个公司获取元数据,分类公司中的所有数据,确定所有数据管理员,且完成一个完整的数据目录,才能算成功。
然而,如果你回到业务结果,那个比目标更具体的概念,你会有一个更具体的数据能力来达成那个结果。这远比目标更理想、更专注,且成功的概率更高,这也是我们下一节讨论的主题。
什么是成功?
现在你已经明确了成功的定义(提醒:它是聚焦于业务结果的),你可以与业务利益相关者一起定义成功。在之前的例子中,我们与业务利益相关者就一个单一的结果达成了一致,这个结果是通过实施四个关键的数据能力来实现的。在我们的例子中,这些能力集中在客户数据领域。
为了取得成功,你必须确保有足够狭窄的聚焦,以便你能够定义一个简单且明确的完成定义。完成定义最好描述成功时,它是具体且可衡量的(你可以使用常见的 SMARTER 框架来帮助你)。理想情况下,你应当针对这些数据能力中的每一项,定义交付有价值能力所需要的条件。
什么是价值的定义?
价值由股东定义;因此,在没有他们确认你所提供的业务价值之前,你的理解是无关紧要的。你可以并且应该衡量并提供你认为自己为利益相关者创造的价值;然而,直到你们双方达成一致并共同支持结果之前,这个价值不应被视为最终的。最糟糕的情况是,当你为业务交付了解决方案,并且你认为它增加了价值,但他们却不这么认为。那样会立即破坏你的信誉。
让我们继续以之前的例子为基础。如何根据业务同意的价值来定义成功?
定义成功
从业务成果开始,首先定义一组核心指标,以衡量业务价值,使用他们能理解的术语:
-
对整体业务成果达成一致。
-
定义并映射实现业务成果所需的数据能力。
-
定义每个数据能力需要完成的任务,以部分和整体的方式交付价值(例如,子里程碑)。
-
对如何衡量价值达成一致。
-
提供能力。
-
迭代报告进展。
-
根据数据结果来衡量数据能力的成功。
-
根据业务成果衡量数据能力的成功。
这八个步骤可以用来构建一个强有力的交付路线图。让我们利用之前的示例,将这八个步骤分解为一个可操作的计划。
与成果对齐
现在让我们将这八个步骤分解为一个可操作的计划,利用之前的示例。这八个步骤将具体详细地解释如何与业务相关方对齐。当你对这个过程越来越有信心时,你会发现完成这个过程所需的时间会更少。然而,第一次做这个时,你可能会觉得需要一些时间来规划。这个过程最好和团队中的某个成员或一个小团队一起进行,确保你能捕捉到所有可能的成果,并在与相关方分享之前,将它们精炼成清晰的成果进行输入和讨论。如果相关方愿意和你更紧密地合作,这也是一个非常好的合作过程。
第一步 – 与业务成果对齐
首先确保你和业务相关方(称为业务赞助人)在他们所需的业务成果上达成一致,以支持他们的业务战略。你们可以共同编写这个成果,或者你可以基于你在数据角色初期进行的聆听环节中得到的信息来编写这个成果。
为了本节的目的,我将通过一系列表格展示这八步方法的组成部分,便于参考。如果这种格式适合你自己的公司,你也可以使用相同的格式。
业务成果 |
---|
可搜索的数据环境,能够使客户根据合同义务,在 24 小时服务级别协议内识别他们在你生态系统中的数据。 |
表 5.3 – 示例业务成果
第二步 – 定义数据能力
接下来,您将定义并推荐您和/或您的团队将交付的数据能力,以支持业务结果。这是一个很好的机会,您可以向您的利益相关者解释这些能力是什么,以及为什么它们是支持其结果的正确数据能力。如果您犯了一个常见的错误,即仅向利益相关者提供数据能力清单,而没有解释为什么它们是正确的能力,这将是您交付过程中的第一个风险。如果利益相关者没有完全理解和理解这些能力为什么是支持他们需求的正确能力,那么疑虑就会悄悄地产生。这个疑虑可能在后续步骤中才表现出来,但正是在这个步骤,您开始失去他们的信任以及您的信誉。不要跳过这个步骤,它对您的成功和与业务利益相关者建立信任至关重要。
数据 所需能力 |
---|
|
-
客户信息系统的近实时元数据(业务和技术)(例如,这可能意味着 5-6 个系统,而不是整个公司)
-
基于 AI 的数据分类用于客户信息系统
-
数据管理 – 客户成功数据领域负责人、业务数据管理员和技术数据管理员
-
范围内系统的数据目录
|
表 5.4 - 示例数据能力要求
第 3 步 – 定义数据能力交付成果
对于每个定义的数据能力,您需要定义需要交付的内容。通常,您将为每个数据能力提供 1:M(一对多)的交付成果。这些交付成果可以迭代交付(如我们在步骤 5中看到的那样),并且在可能的情况下,应该如此,以便您能够展示进展。以下示例展示了如何识别能力交付成果:
数据 所需能力 | 交付成果 |
---|---|
客户信息系统的近实时元数据(业务和技术) |
-
确定并选择元数据工具供应商
-
实施元数据工具
-
确定包含客户信息的每个范围内的系统
-
为元数据工具构建连接器
-
将元数据工具连接到每个已识别的范围内系统
-
验证范围内系统的元数据完整性
-
为元数据工具构建持续的运营和可观察性,以确保元数据的持续有效性和可信度
|
基于 AI 的数据分类用于客户信息系统 |
---|
-
启用元数据工具中的数据分类功能
-
验证分类功能的适当性以确保准确性
-
实施数据管理员定期重新认证数据分类
|
数据管理 – 客户成功数据领域负责人、业务数据管理员和技术数据管理员 |
---|
-
确定客户成功数据领域的负责人并获得批准
-
确定所有在范围内的业务数据管理员并获得批准
-
确定所有在范围内的技术数据管理员并获得批准
-
上岗并培训数据领域的执行官、业务数据管理者和技术数据管理者在其角色和责任中
-
使数据领域执行者和业务/技术数据管理者能够
|
所涵盖系统的数据目录 |
---|
-
培训数据管理者了解数据目录要求。
-
根据数据治理政策为所涵盖系统实施数据目录要求的必要步骤,使数据管理者能够执行
|
表 5.5 – 交付映射的示例数据能力
步骤 4 – 对价值测量的对齐
一旦您定义了交付每个能力的步骤,基于具体的可交付成果,您的下一步是对交付的价值测量进行对齐。这是另一个需要与业务利益相关者密切合作的步骤。既然您已经定义了达到目标的计划(包括需要交付的内容以及每个能力),现在是时候对此方法进行确认,回答他们可能有的任何问题,并确认一旦这些能力交付,他们将能够实现整体业务目标。
在我们的先前示例中,整体业务目标是满足客户的合同义务,本质上是确保其数据得到良好的识别和治理。
假设您的公司有 500 位客户。确保您符合所有 500 位客户的合同义务对于每位客户的合同至关重要,考虑到协议语言的一致性。您可以使用这 500 位客户来计算合同违约的影响(例如,假设合同对每次违约处以$10,000 的罚款)。您可以使用 500 位客户 * 每次违约$10,000 来确定影响价值为$5,000,000。这是您正在努力减少的风险价值。
所需数据能力 | 可交付成果 | 价值 |
---|---|---|
客户信息系统的准实时元数据(业务和技术) |
-
确定并选择元数据工具供应商
-
实施元数据工具
-
确定包含客户信息的每个所涵盖系统
-
为元数据工具构建连接器
-
将元数据工具连接到每个已确定的所涵盖系统
-
验证所涵盖系统的元数据完整性
-
建立元数据工具的持续运营和可观察性,以确保元数据的持续有效性和可信度
在公司复杂的生态系统中查看、理解和报告所有客户数据的单一位置可以轻松提取每位客户的所有客户数据视图,以简洁易懂的方式展示对其信息的控制,每年节省约 3,000 小时的额外审计要求*注:价值不在于实施工具本身;而在于工具使公司能够做到什么。 |
---|
表 5.6 – 交付到价值映射的示例数据能力
步骤 5 – 迭代交付
这是一个描述起来相当简单的步骤,但实际操作起来要简单得多。此步骤涉及按你在步骤 3中定义的计划进行交付:
图 5.1 – 示例路线图幻灯片
步骤 6 – 持续报告进展
当你完成步骤 5中的项目交付时,应定期向相关方报告进展。我建议至少每月报告一次,最好每两周报告一次。这能确保你的团队持续保持动力,定期取得实质性进展,同时确保相关方继续全力支持你为他们交付的工作。记住,这可能不是他们唯一的优先事项(大概率如此),你需要在整个交付过程中保持他们的关注和注意力。
因为你已经就价值衡量达成一致,所以你能够清楚地阐述在交付过程中他们可以做什么,而不仅仅是在交付过程结束时。你可以创建类似以下的报告:
图 5.2 – 示例状态报告
步骤 7 – 衡量数据结果的成功
在你的团队完成实施交付后(理想情况下,在交付每个功能的同时),你应首先从数据结果的角度衡量交付的成功。这对于你的团队非常有帮助,并且能够确保最重要的是你已经达到了基本数据交付的期望。在将自己和团队的焦点聚焦于数据结果后,你应立即转向衡量业务结果的成功,并共同报告这两个衡量标准(步骤 7 和 步骤 8 一起)。
最后,如果你发现数据结果或业务结果偏离了预期结果,要对这种偏差保持透明,尽力找出偏差的根本原因,并努力确定其影响。
数据 所需能力 | 交付成果 | 数据里程碑 | 数据结果 |
---|---|---|---|
客户信息系统的近实时元数据(业务和技术) | 确定并选择元数据工具供应商 | 已选择工具供应商 [1/1] | 业务和技术元数据功能可供使用 |
实施元数据工具 | 工具投入使用(已实施) [1/1] | ||
确定每个包含客户信息的范围内系统 | 范围内系统已识别 [6/6] | 客户平台的系统清单已完成 | |
为元数据工具构建连接器 | 范围内系统与元数据工具的连接已建立 [6/6] | 启用了近实时业务和技术元数据,用于客户数据平台的系统 | |
将元数据工具连接到每个已识别的范围内系统 | 范围内系统与元数据工具的连接已实现 [6/6] | ||
验证范围内系统的元数据完整性 | 元数据完整性验证已完成 [1 of 1] | 客户元数据已验证 | |
构建持续运营和元数据工具的可观测性,以确保元数据的持续有效性和可信度 | 已部署数据可观测性 [1 of 1] | 启用了数据可观测性功能 |
表 5.7 – 示例数据能力与结果的映射
第 8 步 – 衡量业务结果的成功
当你完成最后一步,衡量业务结果的成功时,你会发现这些结果与在这个过程中一开始定义的原始业务结果相对应。在这个例子中,我们将数据结果与业务结果进行了对齐。所有路径从业务开始并结束。过程的中间部分是定义、交付和启用数据能力以支持业务的地方。根据你专注于启用的能力,你会有不同的结果,但相同的框架仍然适用。
所需数据 能力 | 数据结果 | 业务结果 |
---|---|---|
客户信息系统的近实时元数据(业务和技术) | 业务和技术元数据能力可用 | 可搜索的数据环境,以在 24 小时服务水平协议内支持客户履行合同义务并识别其数据 |
客户平台的系统清单已完成 | ||
为客户数据平台的系统启用近实时的业务和技术元数据 | ||
客户元数据已验证。 | ||
启用数据可观测性功能。 |
表 5.8 – 示例数据能力与数据和业务结果的映射
总结
完成所有八个步骤后,整理整个过程以便向业务汇报是很有帮助的。在所有情况下,我建议进行一个上线后的回顾,不仅要回顾结果,还要回顾过程。一个反馈循环是实施最佳实践的一个很好的可选第九步:
图 5.3 – 业务成功对齐过程总结
从这一点开始,你已准备好定义成功并与利益相关者对齐——恭喜你!遵循这个框架将使你能够轻松地驾驭对利益相关者重要的具体且明确的结果。记住要通过这些步骤进行迭代,以确保你和利益相关者都对期望有清晰的理解。接下来,我将带你了解一些你在落实这些步骤时需要注意的成功障碍。
实现业务价值的障碍
遵循之前概述的八步方法后,你有最大的成功机会。然而,在执行任何项目时,总是存在风险。我不得不指出最常见的成功障碍:
-
组织文化和/或政治:这些并不总是显而易见的,如果你是新加入公司,未必能够完全理解或识别这些风险。如果你是新加入的,理解公司如何取得成功的隐形网络更为困难。如果你是新加入的,询问成功是如何实现的。寻求理解公司中完成工作的无言文化方式。
-
资金变化或挑战:确保和维持资金,尤其是在多年度实施项目中,可能是一个挑战。如果你正在进行一个多年度交付的项目,确保你对整个项目有承诺,而不仅仅是第一年。
-
赞助人更替:人们会进行职业变动。你必须假设项目的赞助人可能在项目过程中不再担任同一角色(或同一公司)。如果你没有确保获得支持,可以尝试从赞助人下方的一两层寻找支持,以确保你有持久的支持。
-
缺乏支持:你没有获得项目赞助人的全力支持,或者仅仅得到了低层级(或完全不够高层级)的支持。你获得支持的人可能没有足够的权限为你提供推动项目完成所需的支持。
-
缺乏技术专长:也许你的团队缺乏完成工作所需的技术专长。你尝试让不够技术的专家处理过于技术化的工作,结果是得到了一个不尽如人意的解决方案。
-
法规或经济变化:经济或监管环境发生了重大变化,这影响了项目的优先级。
在内部和跨产品驱动统一的数据体验,以便在适当的时间、用适当的控制权限提供正确的数据,赋能组织和我们的客户。目标是实现以下内容:
-
技术驱动的治理
-
透明元数据
-
统一且可信的同意(用于营销)
-
可信的洞察
-
大规模和高速的结果
现在我们已经讨论了潜在的成功障碍,我们可以转向如何在你的利益相关者图谱中添加价值衡量标准。这是一个很棒但常被忽视的步骤:通过利益相关者整合成果,这样你就可以全面了解你为每个服务的利益相关者推动可衡量的业务成果所做的所有工作。然后,你可以在与利益相关者的定期回顾中使用这些信息(根据你的偏好,可能是年度、半年或季度业务回顾)。
将价值衡量标准融入你的利益相关者图谱
在你努力构建公司价值衡量方法论(如我们之前所做的那样)时,对于每个项目,你可以开始为所有利益相关者构建这个价值衡量和价值图谱。这个过程耗时但对于展示你团队在整个企业中的影响至关重要。
回想一下在 第二章 中,我们构建了利益相关者地图,你可以根据每个利益相关者群体添加价值衡量方法。一个最佳实践是定期与每个利益相关者坐下来(我喜欢每季度做一次)进行一次 季度业务回顾,回顾你的团队为他们带来的价值。这种季度业务回顾的理念将带领他们走过以下内容:
-
你与利益相关者的参与范围
-
你在本季度(或本年度)为他们完成的具体项目清单
-
你为他们(以及其他所有人)提供的企业服务清单
-
本季度(或本年度)的价值衡量
-
展望下个季度将要发生的事情
图 5.4 – 利益相关者地图示例:销售部门
还记得我们如何看待 CDAO 办公室如何支持这些目标吗?我们列出了 CDAO 到销售运营再到销售的直接影响,并清晰地阐明了每个角色在交付这些价值中的作用。我们还根据 CDAO 团队如何看待价值做了深入思考。
图 5.5 – 从数据办公室到业务再到客户的价值链
关键指标包括以下内容:
-
收入增长了多少?
-
销售团队通过依赖这个模型节省了多少生产力?
-
客户满意度因销售他们真正想要的产品而变化了多少?
-
客户信任增加了多少?
对于这个例子,我们将具体衡量这些内容,作为我们价值衡量方法的一部分,并将结果反馈给销售运营和销售执行领导层,向他们展示我们在多大程度上影响了他们的收入和利润,以及客户满意度和整体客户健康评分。
更高级的 CDAO 办公室会构建自己的价值衡量仪表板,以建立透明且易于访问的报告(理想情况下,可以深入挖掘支持这些汇总的细节,按利益相关者群体分类),这样你就能通过展示(而不仅仅是告诉)如何每天为他们创造价值,从而与利益相关者建立信任。通过这种高度先进的报告方式,你能够强有力地展示你为组织带来的价值,从而支持你团队的持续投资。
结论
为一个组织衡量价值并不容易。这需要与利益相关者进行深入的对齐,共同探讨如何衡量成功。没有任何一个团队能够独立解决这个问题;你必须在项目的初期阶段就将价值衡量的讨论引入,集中利益相关者的注意力,强调对齐的重要性,并将严格、透明的流程融入到日常业务流程中。根据我的经验,许多团队讨论过拥有这种能力,或者甚至声称拥有类似的东西。但在实践中,只有极少数团队能在整个公司范围内持续地做好这件事。让我们将这个过程规范化,以便作为一种实践,我们能够证明数据中有令人惊叹的投资回报率(ROI)。在本章中,我们介绍了八步对齐方法论,以推动与利益相关者的成果,常见的对齐挑战,以及如何将衡量的成果带入到利益相关者映射中进行聚合价值对齐。
本章结束了本书的第一部分。在第一部分中,我们概述了如何整合数据项目、如何基准化公司、如何组建优秀团队,以及如何与利益相关者对齐以实现强大的成果。在第二部分中,我们将深入探讨主要的数据治理能力,详细介绍它们是什么,如何有效部署它们,以及如何衡量每个能力的成功。
第二部分:数据治理能力深入探讨
在这一部分,你将概述六个关键数据治理能力,从关键定义开始,如何衡量成功,并提供哪些做得好、哪些做得不好的示例。你将被引导实施每个能力的基础性项目,并了解如何在组织中启动每个能力。
本部分包含以下章节:
-
第六章, 元数据管理
-
第七章, 技术元数据与数据血缘
-
第八章, 数据质量
-
第九章, 数据架构
-
第十章, 主数据管理
-
第十一章, 数据运营
第六章:元数据管理
本章面向任何有兴趣了解高层次元数据管理、理解最佳实施策略,或处于两者之间的人。理解本章的内容不需要具备任何元数据管理的先前经验。
建立一个高价值、高回报的元数据管理能力对于任何数据治理项目来说都是绝对必要的。首席数据与分析官的成功与失败取决于能否回答一些基本的核心问题:公司数据在哪里?谁拥有它?它是如何分类的?它安全吗?我能否利用它创造价值?我知道如何降低数据风险吗?通过学习这些问题的答案,并了解如何战术性地设立一个成功的元数据管理能力,我们将深入探讨元数据这一关键能力。
简而言之,元数据是关于数据的信息。元数据功能用于使数据更加易于理解、访问和重复使用。元数据管理是创建、存储、组织、维护和使用元数据的过程。根据我的经验,元数据是最被低估的数据能力之一,但它是任何数据管理项目的基础。当元数据得到良好部署和管理时,它是成功的根本,而当元数据资金不足或未得到充分利用时,它则是失败的根源。
元数据管理很重要,原因有很多。首先,它有助于提高数据的质量。通过提供关于数据的信息,元数据可以帮助确保数据的准确性、完整性和一致性。其次,元数据可以帮助让数据更容易访问。通过提供搜索和筛选元数据的方式,用户可以更轻松地找到所需的数据。第三,元数据有助于使数据更加可重复使用。
通过提供关于数据的上下文和使用方式的信息,元数据可以帮助用户了解数据在不同场景下的使用方式。在本章中,我们将涵盖以下内容:
-
元数据管理定义
-
元数据管理的价值
-
核心元数据能力
-
构建最佳的元数据能力
-
为成功设置元数据管理
元数据管理定义
在我们深入细节之前,我认为对基本定义达成一致非常重要。根据我的经验,数据专业人员有时为了避免冒犯听众,在启动数据能力时会跳过基本定义。然而,从基础定义开始是可以优雅地进行的,这样既不会冒犯业务领导者,又能帮助听众理解我们将要完成的任务。
我喜欢从一个简单的幻灯片开始,标题为“在我们开始之前”。这个简单而有影响力的引导幻灯片可以通过一个基本的前提和以下口头声明设置:“在我们深入细节之前,我想花一点时间确保我们大家对今天要讨论的内容有相同的理解。就我个人而言,我并不是一生都在做元数据的专家,因此,让我们花一点时间来定义一下当我们谈论元数据时的含义。”这个简单却不冒犯的引导能够让团队在定义上达成一致,而不会让我们听起来像是在对利益相关者说教。
所以,在这方面,在我们开始之前,让我们先明确一下定义。当我们谈论元数据时,重要的是要说明,所有的元数据不过是关于我们数据的信息。你可能会听到它被描述为“关于数据的数据”。仅仅捕捉数据关于数据的信息是不够的,我们必须将其付诸实践,这就需要元数据管理。
什么是元数据管理?
元数据管理是每个公司都需要理解和管理的基础能力。有效的元数据管理能力可以向用户提供关于数据的基本信息,包括以下内容:
-
存在哪些数据
-
数据的创造者是谁
-
数据创建的时间
-
数据创建的地点
-
数据意味着什么
-
数据来自哪里
元数据可以用于做很多事情,但至少它帮助用户做以下几件事:
-
发现数据资产
-
理解数据的背景
-
建立对信息的信任
-
消费数据
有三种类型的元数据需要积极管理:业务元数据、技术元数据和操作元数据。这三种元数据结合在一起,有助于更好地理解数据资产,并能够从数据中解锁更多价值。我们先从一些基本定义开始。
-
业务元数据:它将数据领域与业务数据管理员联系起来,推动业务数据定义,并负责将业务元数据与跨企业的技术元数据连接起来。
-
技术元数据:它包含来自物理数据的物理数据元素和属性,支持数据追溯,并推动对数据转换的理解。技术元数据展示了数据来自于物理数据库、系统以及跨企业的数据流。技术元数据还描述了数据的结构、存储、格式和处理方式。这种类型的元数据通常包括数据类型、列名和表结构等数据。
-
操作元数据:它包含有关数据是如何以及何时创建或转换的信息。可能包括时间戳、位置或作业执行日志等信息。
这三种类型的元数据对于强大的数据管理非常重要。它们服务于不同的目的,通常由不同的用户使用(例如,业务元数据通常用于支持业务数据管理员,而技术元数据对于技术数据管理员角色更为关键)。
元数据示例
让我们将这些定义具体化。我们从有关结构化数据的元数据开始,例如客户数据记录,如客户数据平台数据库表中所示:
ID | 名字 | 姓氏 | 街道地址 | 城市 | 州 | 国家 | 邮政编码 | 电话号码 |
---|---|---|---|---|---|---|---|---|
12345 | Bob | Smith | 123 Main Street | Anytown | IA | USA | 11111 | 555-555-5555 |
67890 | Nancy | Glad | 456 Town Place | Anytown | IA | USA | 11111 | 555-555-5556 |
图 6.1 – 示例数据记录
业务元数据
业务元数据将包括以下内容:
-
每个字段的定义(例如,ID、名字、姓氏、街道地址等)。
-
业务数据管理员
-
技术数据管理员
-
客户数据的来源(即客户数据平台)
这些业务元数据在数据目录系统中可能如下所示:
业务术语 | 业务定义 | 业务数据管理员 | 技术数据管理员 | 授权来源 |
---|---|---|---|---|
客户 ID | 分配给个人客户的唯一标识符 | Asha Sinha | Sally Smith | 客户数据平台 |
客户名 | 客户的合法名 | Bob Jones | Henrik Hans | 客户数据平台 |
客户姓氏 | 客户的合法姓氏 | Bob Jones | Henrik Hans | 客户数据平台 |
图 6.2 – 来自客户数据平台的客户数据字段的数据目录记录示例
请注意,客户数据平台中的表头可能简单为“ID”,而在数据目录中,术语更为具体(客户 ID)。这是因为“ID”表头可能以不同方式使用,并不专属于客户。我们必须使用独特的术语和定义,以推动适当的理解和具体性,从而在公司内部实现共同的语言。
技术元数据
技术元数据将包括以下内容:
-
数据存储位置
-
接口信息
-
有关表格和字段结构的信息
-
数据类型
-
相关领域的链接
-
索引
关于非结构化数据(如图片)的元数据可能包含以下内容:
-
图像标题
-
图像描述
-
图像日期
-
图像位置
-
图像版权
元数据管理的价值
当我考虑数据管理能力的价值时,我会从部署这项能力后,我能够做的事情出发,衡量与当前状况的差距。我该如何衡量这种差异呢?它可能体现在节省的资金、避免的罚款、节省的员工时间、创造的收入、释放的机会价值,或是这些因素的组合。任何一个价值维度都能使得这项能力值得部署。
与元数据的不同之处在于,随后的数据管理能力(正如我们将在第七章至第十一章中探讨的)如果没有元数据能力的支撑,将无法发挥其最大潜力。因此,这项能力是基础性的,在衡量元数据管理的价值时也需要考虑这一点。元数据管理能力的价值包含五个核心要素:
-
透明度:元数据管理使数据具有透明性。技术元数据告诉我们数据的来源,数据来自哪些系统,是否曾经转置或以其他方式变更,并帮助我们更好地理解数据。当我们了解数据的来源和历程时,我们对数据的透明度增加,从而提高了对数据的信任。
-
管理:元数据管理帮助我们推动数据的责任归属。当我们知道自己拥有的数据时,我们可以为数据指定数据管理员,从而确保责任的落实。当我们知道谁对数据负责时,我们能够创建一个环境,让有专人负责数据的使用。这种管理模式帮助公司能够识别任何责任方,并推动数据管理的进一步责任落实。当数据管理员存在并且职责明确时(正如我们在数据治理政策中所述),公司便能从对数据的额外关注中获得益处。
重要提示
记住,高质量管理的关键在于作为服务提供者,而非数据所有者。所有权的概念可能会导致“稀缺”思维方式,从而阻碍数据管理员共享数据。数据代表着企业资产,除非隐私、法律或其他规定要求对数据进行保密,否则数据应当可供共享使用。
-
清晰度:元数据管理使公司能够清晰地了解术语、来源和所有权。通过推动清晰度,业务部门、分析师、工程师和高管们能够轻松对齐目标。
-
可重用性:元数据管理使公司能够定位、理解并使用(和重用)企业的数据资产。
-
基础能力:元数据管理是后续数据管理能力(如数据质量、架构优化和数据操作)所需的关键基础能力。如果我们不知道自己拥有哪些数据,就很难衡量数据的质量、优化数据源或将其纳入一般数据操作中管理。我们必须拥有高质量、可靠且可访问的元数据,以推动这些附加能力的实现。
为什么元数据重要?
元数据管理提供了在公司内部建立信息理解和组织所需的能力。元数据管理的积极特性使公司能够通过共享数据资产促进数据的使用,支持数据变更管理的洞察力,并确保适当的控制和保护,以遵守法规、政策和整体合规性。
通过构建元数据管理能力,你可以期望推动的业务成果包括以下内容:
-
搜索和定位业务数据和技术数据的能力(节省数据用户数小时甚至数周的时间,无需通过内部社交网络询问同事数据位置,或者在尝试找到最佳数据源时进行多次迭代)
-
理顺常见术语,使企业范围内的术语统一(将业务与统一的分类法对齐)
-
良好管理数据的能力,并推动其他关键数据管理能力,如治理、数据质量、数据架构和主数据管理
核心元数据能力
业务元数据能力应由数据管理解决方案团队领导,该团队隶属于首席数据与分析官办公室。业务元数据必须由中央主导,并应与公司各地的业务数据管理人员密切合作,提供端到端的元数据流程和技术解决方案,包括启用元数据管理所需的工具和流程,从而推动业务价值。在本节中,我们将介绍数据管理解决方案团队在部署和管理企业范围内时需要负责的核心能力。
图 6.3 – 示例元数据框架
元数据标准
元数据标准是公司如何创建、管理和使用元数据的指南或期望。这些标准帮助公司定义数据资产、系统、流程和使用的必要措施,从而确保全公司范围内的一致性,并且元数据是值得信赖的。
为什么元数据标准重要?
元数据标准对元数据管理的成功至关重要,因为标准可以统一公司范围内如何部署、使用和利用元数据管理的预期。元数据管理标准有四个核心原则,标准中应全面解决以下问题:
-
元数据是企业资产,具有价值,应当相应地进行管理。
-
元数据管理是一个企业范围的能力,需要企业范围的领导力。
-
需要问责制;没有任何一个人或团队能够单独或孤立地推动企业范围的元数据管理。
-
关于元数据管理的决策必须从企业的角度进行,而不是偏袒某个用户或某个团队,而是考虑企业整体的利益。
如何衡量进展
衡量元数据标准部署进展的简单方法有两个方面:标准的发布和标准的采用。对于发布,您需要发布一个适用于整个企业的标准。除了确保发布日期符合预期,并且定期修订按计划进行外,其他方面无需过多衡量。
成功的第二个衡量标准是标准的采用。您可以根据部门、数据领域、系统或业务数据负责人设定采用指标——无论哪种方式适合您的数据管理计划。重要的组成部分是数据管理能力的一致性。例如,如果您按数据领域来衡量,您应按数据领域衡量所有数据管理能力,以推动一致性地采用。
谁来管理元数据标准?
首席数据与分析官(CDAO)办公室最终负责公司的业务术语表。在 CDAO 办公室内,负责管理所有元数据、数据质量和主要数据的数据管理解决方案团队,应推动满足元数据标准的需求;然而,通常情况下,数据治理负责人将负责通过一致的流程发布所有企业数据标准,并最终发布元数据标准。
数据治理负责人还可能管理公司数据标准的合规性,元数据管理负责人则对部署和采用进展负责。在标准开发过程中,应该咨询业务和技术数据负责人。数据领域高层应被告知这些标准。
您应该如何使用它?
元数据标准应作为指南,帮助用户了解元数据管理所需的要求,定义能力、可用的解决方案,以帮助用户遵守标准并使用元数据管理。该标准应定义关键术语,建立流程,告知用户应使用哪些元数据工具,并总体上推动使用户能够使用这一关键数据管理能力。
在某些组织中,元数据标准可能还会告知读者关于资金要求、变更管理以及标准之外的内容。
业务术语表
业务词汇表和数据目录都代表了关键的元数据管理能力,但它们的目的不同,且通常服务于略有不同的受众。业务词汇表很像一本常见的词典——它创造了清晰性。它包含了与你公司相关的数据的关键业务术语及其定义。业务词汇表应提供搜索功能,以便用户搜索和找到他们所需要的数据,帮助理解数据的关键特征,并推动某些工作流程,建议更改并批准业务元数据。
重要说明
有时业务词汇表也被称为数据字典。
业务词汇表通常由业务用户使用(但技术用户也可能从中受益),以帮助推动对数据的理解和含义,它们通常包含以下信息:
-
术语:我们正在定义的内容
-
定义:对术语的清晰简洁描述
-
同义词:具有与该术语相同意义的其他术语
-
反义词:具有与该术语相反意义的其他术语
-
示例:术语的使用示例
-
备注:任何其他相关信息(可选字段)
为什么业务词汇表很重要?
对任何公司来说,业务词汇表都很重要,因为它作为公司讨论关键信息的共同语言。统一业务术语有助于日常运营,它确保了公司内的每个人,从首席执行官到普通分析师,都在使用相同的语言。
重要说明
在我曾经工作过的一家公司,我们花了将近 18 个月时间来统一“客户”这一术语的企业定义。因为我们的一些业务单元是面向企业的(B2B),而一些是面向消费者的(B2C),所以定义需要足够宽泛,以涵盖这两种商业模式,但又必须足够具体,以避免包括潜在客户或线索。统一整个业务定义涉及到众多利益相关者,其中一些人对这一术语非常热衷。尽管协调工作非常困难,但我们必须确保正确定义,以确保企业的报告和决策保持一致。如果没有这种统一,我们无法向高层管理或董事会报告信息。
如何衡量进展
在构建你的业务词汇表能力时,你需要向相关利益方、经理,甚至企业数据委员会汇报进展。可以使用几个指标来衡量和传达团队在交付方面的进展。以下是一些示例:
-
由系统完成的业务词汇表数量/系统数量
-
上传到业务词汇表中的业务术语数量/已定义的术语数量
-
已批准的业务术语数量/已定义的业务术语数量
-
没有业务词汇表的应用程序数量/应用程序总数
-
没有指定负责人/业务术语的数量
-
已完成业务术语表的数据领域数量/数据领域数量
如何衡量价值?
这是业务术语表中最难的部分之一。大部分价值是定性的。缺乏业务术语表通常会在整个企业中产生影响,甚至影响到组织的最高层。我来举个例子说明。
示例
曾经有一位 CEO 要求我统一我们公司最重要的术语。他们说:“但是,别做得太慢。”
问题是什么?为什么 CEO 需要我们统一最重要的术语?
我们正在进行业务转型并改变商业模式。他在与各个业务总经理沟通时遇到了问题,因为各个总经理的收入数字与财务团队的数字不一致。当我们深入探讨时,我们发现总经理们使用的收入定义在总经理之间差异很大,而且与财务的定义也不同。财务团队必须做出多次调整以符合 GAAP,这导致了内部报告与外部报告之间的显著差异。这引发了高级层级的多次讨论关于数据差异。想象一下这些会议的成本。
当我们统一了业务术语和计算方法后,团队们的会议效率大幅提高,数据驱动的讨论让每个人都能达成共识。
以下是几种衡量价值的方法:
-
减少错误:业务术语表可以通过在生成报告之前先定义术语来减少报告中的错误。通过提前统一定义,你可以防止在报告制作后,业务方和报告制作方在数据对齐上产生不一致,导致需要重新编写报告。
-
提高效率:拥有业务术语表可以通过更快速地查找和使用信息来提高效率。组织规模越大,影响越显著。
正如你可能注意到的,这是时间节省。你可以创建一个模型来衡量这些假设,并与业务用户验证这些假设。例如,我们认为,一旦我们定义了业务术语表,且提供了足够的定义和来源,我们预计每个报告的生产时间将减少 20 小时,因为前期统一对比今天的反复调整。通过使用这个 20 小时 x 100 个报告每年的假设,我们预测每年可以节省 2000 小时的劳动力(相当于一个全职员工)。如果贵公司每年生产 1000 份报告(或 10000 份),想象一下这个简单解决方案能带来的影响。
谁负责管理业务术语表?
首席数据与分析官办公室最终负责公司的业务词汇表。在 CDAO 办公室内,负责管理所有元数据、数据质量和主数据的数据管理解决方案团队应当推动企业业务词汇表的构建,以及支持此项工作所需的工具。
大多数公司都会指定一位专注于元数据管理的领导来推动本章中概述的能力。在我之前的所有数据团队中,我都有一个团队,人数从 3 到 15 人不等(对于大公司,人数有时更多)专注于这一领域。为什么要这么大?如果你正在为一家拥有 6000 个应用程序的公司对齐企业词汇表,你将需要强大的流程、论坛和工具,以及支持交付的路线图。这项工作永远不会“完成”。随着公司发展、服务新市场、拓展新客户群体并部署新系统,所有这些都会导致你的团队需要进行更多的业务词汇表工作。
一个成熟的业务词汇表能力是什么样的?
当你努力为公司成熟业务词汇表能力时,你可以采取一系列措施来推动更多的成熟度和业务词汇表的使用。在成熟的数据治理项目中,业务词汇表通常是针对特定系统或数据领域创建的,但在更成熟的公司中,会创建企业词汇表以标准化公司内的业务定义。企业业务词汇表通常能实现以下能力:
-
综合且合理化的业务词汇表,与重复项/部门词汇表对比
-
推动本体论的采用
-
术语的合理化及其与数据资产的关联
-
实现跨领域业务术语的关联
最终,整个企业对与业务术语相关的完整信息进行对齐,包括意义、关系和沿袭,这有助于推动真正的企业业务词汇表。在之前的例子中,我与 CEO 一起推动了全公司统一的关键指标报告,我们从他希望标准化的九个术语开始了企业业务词汇表的构建。从那里起,团队不断完善标准化的企业业务词汇表,同时将更多标准化术语加入到我们的服务指标项目中。
然而,开始这项工作并不需要 CEO 的要求;你应该将跨公司合成和合理化业务词汇表作为标准项目的一部分。最简单的起点是识别你在数据领域和/或系统中已经存在的重复项,然后可以轻松确定企业定义。这些共同的定义就是你的“企业”业务术语。
你会发现有些情况下,企业定义已达成一致,但某些部门有其独特的定义,它是企业部门定义的一个子组件,专门为该部门而设。例如,你可能会有一个企业术语,如“收入”。而对于某个部门,你可能会按产品线来记录收入。虽然企业的收入术语包含了通用定义,但当部门在指定其产品线时,他们可能会称之为“产品 A 收入”,以明确它是收入,但只针对特定的产品。
如何实施业务词汇表?
-
范围:定义业务词汇表的范围。你可以从一个系统、一个团队、一个数据领域、一个程序或整个公司开始。确保明确你将交付的内容,并在开始时定义成功标准,以确保与利益相关者的一致性。
-
引导利益相关者:定义流程,并解释预期、时间需求以及他们可以期待的结果。
-
收集所有可用的材料:你可能会惊讶地发现,业务词汇表或术语定义的某些部分已经存在。有时,团队会将这些信息保存在电子表格或共享演示文稿中。利用现有的资料作为起点。
-
定义术语:与业务数据管理人员和信息使用者合作,定义术语的定义,统一同义词和反义词,提供示例,并收集相关笔记。
-
发布词汇表:将收集到的信息应用到你的企业业务词汇表中。
数据目录
这存储了关于组织数据资产的信息,如数据位置、格式、血缘和质量。数据目录通常是数据工程师、数据科学家及其他技术用户的一个关键元数据功能。数据目录可能包括其他相关信息,如数据源链接、分类或其他相关信息。数据目录通常包含每个数据资产的关键信息,如以下内容:
-
名称:数据资产的名称。
-
描述:数据资产的描述。
-
位置:数据资产所在的位置。
-
格式:数据资产的格式(如整理的数据集、报告等)。
-
血缘:数据资产的历史(有关血缘的更多信息请参见 第八章)
-
质量:有关资产质量的信息,如准确性、完整性等(有关数据质量的更多信息请参见 第九章)。
-
标签:这些标签可以用来组织和搜索数据资产,也可以使用一定的格式进行驱动(例如,报告、客户、供应商等)。
我希望数据目录能为业务用户提供已经创建的有用数据集,这将加速公司发现和洞察的速度。理想情况下,这个功能应当使业务用户能够通过添加新信息来不断改进数据目录中的内容。
为什么这很重要?重要的是什么?
随着公司发展,数据对公司整体成功变得更加关键,个人和团队花费过多时间寻找他们信任的数据。根据我的经验,通常会出现一个转折点:要么发生不好的事情(例如数据泄露、监管要求等),要么基于对公司“历史知识”的依赖,操作变得痛苦且难以继续,扩展也成为了一个挑战。数据目录是解决方案,帮助个人和团队在公司内部查找、寻找和使用数据,通过让个人重用常见的数据资产。
这个问题并不新鲜。根据 2001 年 IDC 的一篇白皮书,"1998 年的一项调查发现,76%的公司高管认为信息是“至关重要”的,是公司最重要的资产。然而,60%的人表示,时间限制和缺乏寻找信息的理解阻碍了员工找到所需信息。" 此外,《福布斯》报道,2018 年,数据专业人员仍然将 50%的时间花在寻找和治理数据上。
以下是一些可能需要数据目录的指示因素:
-
你的业务分析师很难找到他们需要的数据来填充报告和/或商业智能工具
-
在数据湖中找到信息非常困难,甚至几乎不可能
-
即使数据可以找到,理解它仍然是一个挑战
-
没有数据或数据资产的所有权,因此找到可以回答基本问题的人几乎是不可能的,或者非常耗时
-
重用其他个人的数据资产需要你知道该数据资产的存在以及是谁创建的,这样你也可以使用它
-
没有验证数据可信性的流程
-
数据的来源不明,因此使用时需要盲目依赖
你如何衡量价值?
根据我的经验,大多数公司还没有完全采纳数据目录,而数据目录是解决这些常见问题的最简便方法。虽然有很多方式来计算价值(例如,依赖错误数据的成本、因错误报告信息而被罚款的成本、时间成本等),但计算数据目录价值的最简单且最不具争议的方式是计算员工的时间。只需拿一个数据分析师的薪水成本,假设为 100,000 美元,结合前面提到的 50%时间花费在寻找信息上。这意味着他们每年 50%的薪水都花费在寻找和管理他们负责的数据上:
USD 100,000 * 50% = USD 50,000
一家公司雇佣了多少数据分析师?10 个?100 个?根据每个分析师的成本进行相应的乘算。
数据目录服务的费用是多少?通常,这包括总拥有成本,涵盖了许可费用、服务器成本以及工具管理费用(元数据分析师)。
搜索时浪费的时间与更多富有成效的任务相比,如何衡量?
所有这些答案都应该在贵公司决定是否投资企业数据目录时考虑到。别忘了考虑没有此能力所错失的机会。如果你不需要每天派遣分析师去寻找数据,你们能做些什么?他们能否创造出新的收入生成想法?机会和成本的整体图景有助于揭示数据目录为贵公司带来的真正价值。
应该使用哪些指标来衡量成熟度?
-
已录入数据目录的数据资产数量
-
具有完整信息的数据资产数量
-
数据管家认证的数据资产数量(意味着,经过验证的来源、数据质量和已识别的所有权)
-
具有数据管家的数据资产数量
-
在所有数据资产中被重复使用的数据资产数量
-
具有完整数据血缘的数据资产数量
-
每个数据领域在企业数据目录中记录的数据资产数量/数据资产数量
示例
在我以前的工作中,我们需要对数据资产进行合理化,这是客户数据转型的一部分。最初,我们的客户数据分布在整个公司。随着我们部署统一的客户数据记录系统,我们将客户数据资产合理化,并纳入企业数据目录。这为公司提供了经过批准或“授权”的定义、资产和黄金数据源的位置。任何其他来源的客户数据都被视为“非认证”,并且 CDAO 不保证其可靠性。
谁来管理它?
类似于业务词汇表,你可能会为数据目录设置多个管理层次。你可能会有部门级或数据领域驱动的数据目录,这些目录由业务数据管家或业务数据团队来管理。
这些业务数据领导者将与 CDAO 办公室的元数据领导者合作,建立并有效管理企业数据目录。理想情况下,组织应拥有一个专属的企业数据目录,并能够管理和标记特定于单一数据领域的信息。这种透明度对于数据演化至关重要,例如,当一个以前仅在某个部门级别使用的数据资产被发现并在企业级别采用时。如果部门/数据领域的透明度在企业层面不可见,那么数据资产就无法被有效利用。
然而,如果你的组织没有数据目录能力,拥有基于部门或领域的数据目录是一个很好的起点。你不需要工具就能开始。你可以使用像电子表格这样简单的工具,等准备好投资时再成熟为更专业的工具。
成熟度是什么样的?
企业范围内与数据资产相关的完整信息的一致性,包括其意义、关系和血统,推动了一个真正的企业数据目录。成熟的数据目录能力应该让业务用户非常容易地确定以下内容:
-
你拥有什么数据
-
谁对数据负责?
-
数据的来源
-
数据是否可信?
-
在哪里可以找到数据(理想情况下,可以提供一个链接)。
无缝且安全的企业范围内数据资产访问,包括与身份访问管理的集成,确保合适的人在合适的时间拥有对合适资产的访问权限,这是最优的。当数据目录让数据易于查找时,用户却要花费数天、数周甚至数月等待访问批准时,可能会感到非常沮丧。
简单的可发现性/复杂的搜索(例如,由 AI 驱动)使这一能力更具吸引力。一些新功能会根据你的搜索历史建议额外的资产。数据目录中嵌入的推荐使得用户更容易找到所需的内容,有时还会发现一些他们不知道自己想要的额外信息。
你应该如何使用它?
-
业务用户应该通过搜索数据目录来找到他们需要的数据。
-
更轻松且一致地理解使用的数据(共同语言)。
-
帮助业务用户更好地解读 技术信息。
-
使用数据来创造洞察,以回答关键的商业问题。
构建最优的元数据管理能力。
在 2021 年,我参加了一次访谈,当时大胆地(在当时)表示元数据是最被低估的数据治理能力。现在,到了 2023 年底,我仍然站在这一观点上。我坚信元数据是所有数据治理的动力。直到今天,我仍然被问到公司应如何最大化他们在数据治理方面的投资,每次我都会建议通过创建和优化数据市场来加大对元数据能力的投资。
什么是数据市场?
数据市场是我所称之为“数据能力业务”的东西,这意味着它由数据办公室驱动。当技术支持和赋能时,数据市场是公司创建所有数据资产购物体验的单一平台。数据市场的基础由元数据驱动,使用户能够轻松地从单一平台访问数据资产。搜索和发现的便捷性是世界级数据市场的关键特性。
数据市场能够解决公司的一些问题,包括但不限于以下内容:
-
定位跨组织的数据(1:M 平台/系统/来源)
-
识别重复数据(数据资产的泛滥),推动简化工作
-
识别数据质量问题,推动修复工作
-
推动数据定义、计算、来源以及数据资产质量的透明度
数据市场中包含什么?
数据市场包含元数据(业务和技术)和数据资产,提供用于数据管理活动的工作流,并且以企业的统一透明度完成所有这些工作。你应该包括以下内容:
-
数据治理政策(链接到)
-
数据管理工作流,支持提议定义、审批等操作
-
业务词汇表
-
数据字典
-
数据血统
-
数据产品(链接、所有者和认证状态)
-
认证的数据资产(报告和策划的数据集)
-
标准化的企业 KPI
-
上述能力的 数据质量指标
为什么数据市场很重要?
数据市场是一个无缝的、互联的体验,提供前述能力,使公司能够快速、高效且通过设计实现信任与透明度地找到所需的数据。如果时间对你的业务至关重要,数据市场能够加速洞察的实现,远远超过其他任何能力。我见过的最好的数据市场,始终专注于提供出色的用户体验,保持用户界面的简单、内容的相关性,并专注于内容的质量而非数量。
在后台,CDAO 办公室可能会花费时间集成各种功能、系统和流程,以便使数据市场为用户提供愉悦的体验。不要犹豫,投入资源发展这一能力。我从利益相关者那里收到的最大抱怨一直是难以找到可信的信息,而数据市场正好解决了这一问题。如果你能够让组织各级利益相关者轻松找到他们完成工作所需的信息,你就会在数据领导力方面获得成功。
衡量成果和投资回报
-
每月的独立用户数(你可以按业务单元或地区跟踪,以获得更具体的情报)(或任何与你的业务相关的时间范围)。
-
入驻数据市场的独立数据产品/资产数量。
-
入驻数据市场的独立认证数据产品/资产数量。
-
连接的系统数量。
-
基于角色的用户计数。这会在设定的时间段(例如每月或每季度)内追踪使用人数,并确定哪些角色在一段时间内的使用情况更多或更少,从而可以探究原因并推动更多的使用。一些示例包括数据工程师、数据分析师、业务分析师和高层管理人员。
为成功设置元数据管理
最终,一个优秀的元数据项目帮助公司回答基本的数据问题,如:我们有哪些数据?这些数据如何分类?我们的数据在哪里?谁对它负责?我如何找到它?我可以使用它吗?能够回答这些基本问题,正是使元数据管理项目成功的关键。首席数据官(CDAO)和元数据管理领导者必须共同传递这一能力的价值主张。我的建议是,不要害怕分享缺乏强大元数据管理时可能出现的问题,同时也要强调当拥有强大的元数据管理项目时,能够带来的好处。
虽然从表面上看,这一能力似乎相当简单,但在大型公司中实施强大的项目需要时间、专注和清晰的价值沟通。我建议从一个数据领域或单一系统开始,在公司内部推动实施。在你们努力收集元数据的同时,启动数据市场能力将使公司能够利用团队在构建元数据管理能力过程中所付出的所有努力,以便以易于理解的方式呈现出来。
结论
随后的章节中的其他数据治理能力将建立在这一元数据能力的基础上。如果你无法有效管理元数据,那么衡量数据质量、建立授权的配置点、优化架构以及为常见数据集(如客户或产品)构建权威数据源将变得更加困难。因此,在公司推进数据治理成熟度的过程中,早期并且频繁地传达这一基础能力的重要性至关重要。
通过本章的学习,你应该能够充分解释元数据管理的重要性,包括它为何是所有其他能力成功的前提,理解如何设计强大的元数据管理功能,以及如何定义并实施适合公司实际需求的元数据管理方案。下一章将讨论元数据的主题,但将重点介绍元数据管理的更多技术方面。
参考文献
第七章:技术元数据和数据血缘
建立一个高价值、高投资回报率(ROI)的数据血缘能力是任何数据治理计划的基本能力。数据与分析首席官的成败在于能否回答几个核心问题:
-
我的数据在哪里?
-
谁拥有它?
-
它是如何分类的?
-
数据是否安全可靠?
-
当数据在公司内部流转时,它如何变化(或已经如何变化)?
-
我可以信任这些数据吗?它们的质量高吗?
数据血缘是能够看到数据在组织内部流转的过程。数据血缘捕捉了任何转置变化的来源以及数据的整体流转过程,展示了数据的来源、路径和演变。它提供了一个视角,帮助我们理解数据在其来源、流转和演变过程中的变化。
基于第六章中概述的元数据管理能力,本章将重点讨论元数据管理的更技术性方面。我们将专注于数据的存储位置、流动方式,以及理解数据所需的技术要求。尽管技术数据管理员最有可能与技术元数据,特别是数据血缘打交道,业务数据管理员也能从这一能力中受益。此外,技术元数据将为数据质量的测量奠定基础,我们将在第八章中讨论数据质量。
截至目前,完整的端到端数据血缘对于大多数公司来说仍然是一个挑战。我将概述我在部署数据血缘过程中的经验、面临的挑战,以及在没有完美解决方案的情况下我们可以采取的措施。我们不需要等待“神奇的工具”或技术来推动公司数据血缘能力的开发。我们可以立刻从现有条件出发,并在能力逐步成熟时不断完善。让我们从一些基本定义开始,确保我们有共同的语言基础。
我们将涵盖以下主要话题:
-
技术元数据
-
数据血缘
-
构建一个最优的数据血缘能力
技术元数据
技术元数据通常由更具技术背景的数据专业人员使用,如工程师、数据运营专家、系统工程师和一般的信息技术分析师。技术元数据是描述数据更技术性方面的信息,包括管理和理解数据物理方面的关键信息。技术元数据包含以下领域的位置信息和格式信息:
-
数据架构:数据库结构的描述,包括表、行/列以及它们之间的关系
-
数据字典:包含数据定义、数据血缘和数据质量规则
-
数据血统:数据如何被创建、处理和使用的历史;它用于支持数据发现、数据集成、数据治理和数据分析
为什么这很重要?什么是重要的?
记录物理数据资产、数据流动、转换以及物理数据元素之间关系的文档,能够帮助用户更好地理解数据。技术元数据的功能非常重要,原因包括以下几点:
-
帮助数据分析师和工程师了解可用的数据
-
帮助追踪数据创建和转化的历史,这对于调试和审计目的非常有用
-
可用于评估数据质量,帮助用户识别和修复数据质量问题,并确定数据质量问题在过程中的引入位置(从而帮助业务修复导致数据质量问题的过程问题)
-
保护数据免受未经授权的访问和/或修改
有用的提示 |
---|
当你开始接触技术元数据时,你可能需要选择一个领域来入手。你可能想从对业务至关重要的报告开始,这样你就能确保报告的可靠性。如果这看起来让人不知所措,你可以从报告中的一个简单指标开始。例如,也许你正在尝试了解你向利益相关者(可能特别是股东)报告的客户数量是否准确。以下是你可能会问的几个关于该指标的问题:
-
客户数量的定义是什么?
-
我们从哪里获取客户数量指标?
-
根据我们的定义,源头是否是提取客户数量指标的正确来源?
-
客户数量数据的血统是什么?谁在数据传输过程中接触到该数据?
-
我们是否有信心客户数量数据质量高?我们能信任它吗?
-
谁是客户数量指标的负责人?
-
我们是否测试了数据血统以确保数据可靠?我们是否测试了数据的准确性、完整性和可靠性?
通过评估这些问题的答案,我们能够确定:A)客户数量指标是否存在问题,或者 B)我们是否可以放心依赖该指标。通过详细探索该指标并将结果记录在共享的元数据系统中,我们可以减少对机构知识的依赖,并增强该指标的透明度和可见性。一旦评估完成,我们就能在公司内部自信地重用该指标。|
如何衡量这个值?
我经常被问到如何衡量数据治理中更技术性方面的价值(除了数据治理本身)。这个问题的根源是:如何用业务用户能理解并且同意的方式来衡量价值?这个答案的关键部分是,业务用户必须同意他们所得到的价值与你所描述的相符。大多数首席数据分析官(CDAOs)并没有采取额外步骤,从业务方获取确认,确认他们确实收到了数据办公室所说的价值。在这种情况下,CDAO 被发现推崇他们的团队提供了影响,但没有人同意,通常导致 CDAO 在业务方失去信誉,最终影响资金和支持。
为了避免这个问题,必须确保价值是基于事实的,并且业务在部署之前同意这些事实(通常,这意味着在部署之前对衡量价值的方法达成一致),并在部署后确认他们确实收到了价值。在此过程中,有几种方法可以衡量技术元数据的价值。
衡量价值的最直接方式是从衡量技术元数据为组织提供的好处开始:
-
寻找和理解数据所花时间的减少 [节省的小时数 x 受影响的人数 * 每小时/每人的平均成本 = 通过提供 技术元数据 节省的成本减少]
-
需要与业务对齐的假设:
-
节省的小时数
-
受影响的人数
-
每小时/每人的成本
-
-
注:事先对齐假设,这样当结果出来时,争论会更少。通常,数字会比预期的要高,这会引发对方法论的担忧。这种做法将减少价值对齐讨论中的摩擦。
-
附加说明:我曾看到“搜索和查找”时间通过在组织中激活元数据管理能力,最多减少了 80%,所以不要低估此能力的重要性和影响力。
-
-
数据分析的质量和准确性的提高 [已识别的数据问题 * 数据问题 修复的价值]
-
需要与业务对齐的假设:
- 数据问题修复的价值 [可以是实际的美元金额,可以是重要性百分比,也可以是由这些数字做出的决策价值]
-
注:你可以简单地跟踪识别和修复的数据问题数量;然而,这假设所有数据问题都同等对待,但事实并非如此。
-
另一种或附加的价值衡量方法是衡量技术元数据为组织提供的成本规避。这些通常较难定义并与业务对齐,但同样具有价值。以下是一些示例:
-
合规性违规避免(示例:GDPR 罚款、CCPA 罚款、外部审计发现)[避免的违规次数 平均违规成本]
-
需要与业务对齐的假设:
-
哪些违规行为被避免了(通常与首席隐私官、首席法律官或首席合规官对齐)
-
违规行为的平均成本
-
-
-
错误避免 [避免的错误数量 避免的价值]
-
需要与业务对齐的假设:
-
什么是被避免的错误?
-
避免错误的价值是什么?
-
-
理想情况下,您的技术元数据负责人应该定期跟踪并报告这些指标。我建议将这些指标面向利益相关者,随时可以供审查,并保持完全透明。您可以邀请利益相关者对假设提出挑战,以建立对用于衡量成功的指标的信任,而不是采取防御态度。如果假设对业务没有意义,改正它们。确保与业务对假设达成一致,然后让解决方案的价值从此开始自我证明。
应该使用哪些指标来衡量成熟度?
在评估技术元数据管理能力的成熟度时,应该使用以下指标来内部衡量能力的实施情况:
-
已记录数据架构的数据源数量
-
已有完整信息的数据源数量
-
已识别技术数据管理员的数据源数量
-
已记录技术元数据的报告数量
-
已记录技术元数据的指标数量
-
从技术元数据中识别出的数据质量问题数量
示例
我们的数据在哪里?
一个常见的、也有些可怕的问题。
更可怕的是常见的回答:我 不知道。
不幸的是,这对大多数公司来说是现实。许多人对数据所在的位置有一个“不错”的了解。他们可能知道它在哪个系统中……但是那些未知的情况呢?你能百分之百确定数据没有被复制吗?没有被复制存储在电子表格中?
这就是技术元数据如此重要的原因,能够回答问题:“我的数据在哪里?” 许多公司知道他们预期数据的位置,但却很难确保完整了解所有数据位置。
谁来管理它?
技术元数据应该由技术数据管理员管理。技术数据管理员是组织内的技术资源,通常位于信息技术职能部门,负责维护和管理您组织中的物理数据。尽管您的业务数据管理员负责政策合规、业务定义、使用和业务术语表的准确性,但技术数据管理员是业务数据管理员的技术对口人。这两个角色共同为公司资产——可用数据——创造信任。
成熟度是什么样子的?
一个成熟且完全运营的技术元数据解决方案将提供关于公司数据的全面、易于访问、清晰的技术信息,并且具有明确的管理责任(即回答以下问题:谁对数据负责?)。数据将是透明的、清晰的,并且任何用户都可以轻松理解。此外,解决方案将回答以下问题:
-
我们拥有何种数据?
-
我们的数据在哪里?
-
我们的数据是如何被使用的?
当我们能够持续和系统地回答这些数据相关的问题时,我们就拥有了成熟的技术元数据能力。如果每次问到这些问题(如上所述),我们都需要进行搜索和挽救,那么我们还需要做更多工作。通常,这种情况发生在一次危机中,可能是由客户驱动或合规驱动,在无法轻松回答这些问题时,才会促使高层管理人员迅速而大规模地投资于这一能力。
你应该如何使用它?
用户(无论是业务还是技术人员)可以通过多种方式使用技术元数据来帮助他们运营业务和履行各自的工作职责。一些常见的例子包括:
-
当你在寻找数据时。例如:某个用户正在尝试找到某个特定产品的最佳收入来源。
-
当你发现问题并想要了解问题的根源时。例如:用户发现报告中存在问题。他们查看业务和技术元数据,以查找数据的来源,从而发现错误的根源。
-
当你试图确保和保护数据时。例如:你需要在公司中找到个人身份信息(PII)并保护它免受未授权访问。首先,你需要找出 PII 的位置,以便将其分类为 PII,然后与安全团队合作进行保护。
-
当你需要删除数据时。例如:客户要求在合同中定义一个特定的时间范围内删除数据。客户要求公司删除其数据,你需要找到公司中所有与该客户相关的数据。
-
当你试图理解一个端到端的流程时。例如:你是业务分析师,正在寻找优化从报价到收款的流程的方法。你希望了解报价在公司系统中的流转路径,以寻找简化的机会。
-
当你尝试理解变更管理的影响时。例如:你的人力资源系统将在这个周末发布新的版本。你需要确定这些变更是否会影响到用于人员管理的报告,最好是在变更发生之前就能找到答案。
数据血统
数据血统(Data Lineage)是一种追踪和记录数据在组织系统中流动过程的能力。数据血统展示了数据是如何在系统中流动的,如何在这个过程中发生变化或被处理,以及它在哪里存储并最终被使用。简而言之,数据血统为数据提供了透明性。这一点至关重要,因为透明性有助于我们建立对数据的信任。当我们知道数据是什么以及它来自哪里时,我们对它的信任度会更高,这也是理解数据并相信其所提供信息的关键组成部分。
数据血统功能的另一个关键组件是它追踪数据随时间流动的过程。与本书中其他一些数据功能不同,数据血统提供有关数据生命周期的信息。通过更清楚地了解数据的来源、可能发生的变化以及数据最终存储的位置,我们能够看到数据在其生命周期中经历的所有转换,发生了什么变化,以及为什么发生这些变化。
这为什么重要?什么是重要的?
对数据的信任是确保公司做出数据驱动决策的首要条件。在上一轮评估中,83%的首席执行官希望他们的组织能以数据为驱动,而只有 30%的员工相信他们的组织正在实现这一目标(Tableau)。为什么会有这种差距?部分原因是数据不被信任,难以访问,人们不了解它,因此虽然数据会在决策中被考虑,但很少被实际使用。数据血统之所以重要,是因为它帮助公司更清楚地看到数据,理解数据的来源,从而建立对数据的信任。这种信任是数据使用的基础。当我们信任信息时,我们可以用它来做决策,从而做出更好的决策。最终,数据血统为数据 带来了完整性。
数据血统是对物理数据资产、数据流动、数据转换和物理数据元素之间关系的文档化。数据血统告诉我们以下内容:
-
数据的位置
-
它是如何存储的(是存储在数据仓库、数据湖、内部服务器,还是云端(哪个云)?)
-
数据是如何创建的
-
数据的来源
-
上一次修改时间
-
它是如何更新的(系统化更新、人工更新,以及通过捕捉用户 ID 来确定更新者)
示例
在我过去建立数据治理职能的经验中,我曾有一位咨询合作伙伴告诉我,只要我们能够验证数据在起始时的质量与报告输出时的质量相符,就不需要端到端的数据血统。对于数据质量的目的来说,这可能是对的,但这并不能告诉我们关于安全管理等变更管理的任何技术性影响。
例如,如果一个变更在系统 A 中投入生产,而我们查看的报告来自系统 D,那么我们将无法看到数据在系统 B 或系统 C 的中途停留。如果没有数据血缘,我们将无法看到系统 B 包含该数据,并且变更可能会对其产生影响。这只是数据传输过程中的一个环节。我们只能看到系统 A 和 D 之间的不匹配,但无法得知数据来自系统 B 并被提取到不同的报告中,并且在变更过程中也会受到影响。
数据血缘还可以让我们了解哪些类型的变更可能会对其产生影响。想象一下,能够查询我们的数据血缘存储库。我们可以看到数据在其生命周期中的位置,而不仅仅是它的起点和终点。在做出此类决策时,考虑所有数据血缘的要求和相关的使用场景非常重要。
数据血缘的好处是广泛的,正如我们将在接下来的章节中探讨的那样。请记住,数据血缘是额外数据治理功能的基础,包括数据质量。我们将在第八章中详细介绍数据质量,数据质量。
如何衡量其价值?
与技术元数据部分中的衡量标准一致,数据血缘的价值可以通过成本节省、时间节省、风险规避和增值等指标来衡量。请参见前面部分,了解如何衡量数据血缘的价值,并获取具体示例和计算方法。更广泛地说,数据血缘可以通过以下几种方式来衡量:
-
增加收入/节省成本:如果你为用户提供更好的信息,他们能够做出更好的决策,进而增加收入。这也可以通过评估减少冗余和削减成本的机会,来提高营业利润。通过及早识别数据错误并防止用户基于错误数据做出决策,也能节省成本。
-
降低风险:通过识别带有风险的数据并尽早保护它,你可以帮助公司避免数据泄露的风险。
-
改进决策:通过使用数据血缘提供清晰的数据视图,你可以应用自动化技术,使报告更快、更有价值,从而使决策更加迅速,且减少人为错误的风险。
-
增加/改善创新:你可以利用数据血缘从现有数据中发现新的洞察,这些洞察可以用来创造新的产品和服务。
广义而言,数据血缘因以下几个关键原因而具有重要价值:
-
提高数据质量:数据血缘通过提供数据变动的洞察,帮助识别潜在的错误,从而提高数据质量。
-
提高合规性:数据血统帮助公司满足合规要求,这些要求需要理解数据主权,并支持避免因如 GDPR 或 CCPA 等要求而产生的罚款或处罚。
-
增强的审计功能:数据血统通过数据流的可用性增强了审计能力。通过能够透明地看到数据流向,数据血统可以帮助审计人员在与利益相关者会面之前理解一个过程。
-
提升安全性:数据血统是推动安全实践精准性的基础能力。与其采取一刀切的方法,深入了解需要保护的数据让安全团队能够精准地采取行动,对组织中的正确数据施加适当的控制。
-
更快的故障排除:数据血统可以用于调查数据问题,能够追溯整个数据供应链中的数据流。这样的可追溯性将帮助用户更快地识别问题源,从而节省(可能是非常可观的)时间。
-
改进的变更管理:数据血统通过让团队提前看到哪些数据将受到发布或变更的影响,推动了改进的变更管理,从而在生产发布之前和之后完成适当的测试,确保变更按预期运行。
-
更强的数据治理:数据血统可以用于改善数据治理,并帮助确定优先级。通过提供一种系统化的方式记录数据流,数据治理团队可以利用数据血统来确定关注领域的优先级,并确保数据的使用符合数据治理政策,保持一致性和合规性。
利用这里概述的领域,你可以通过计算上述好处,使用一个基本的计算来衡量数据血统的价值,然后进行简单的 ROI 计算:
ROI = (好处 − 成本) / 成本
你可以计算公司在数据血统能力上的 ROI。要计算为提供此能力所需的成本,你应该包括以下费用:
-
软件费用:获得数据血统工具或工具的合同费用,这些工具用于在组织中为用户提供能力。
-
实施成本(在一段时间内):实施工具的成本可能包括一次性费用,如实施顾问费用和人员增加(例如,承包商协助搭建平台或设计流程,或进行初步的数据血统收集)。
-
维护成本,包括人员、流程和技术:为持续提供此功能的人员成本、持续的服务器空间等费用。
综合来看,这个计算可以从成本角度评估收益,并为公司提供信心,表明维护数据血统所需的工作被其所带来的显著收益所超越。
应该使用什么指标来衡量成熟度?
除了之前提到的业务价值度量,数据治理团队可能会跟踪特定的项目范围内的价值度量,例如:
-
识别并解决的数据质量问题数量
-
在影响客户之前识别并预防的合规性违规次数
-
识别并预防的安全事件数量
-
市场时间(TTM)用于新产品或服务
-
数据分析的价值时间(TTV)增加
-
数据源退役或简化工作带来的成本节省
谁来管理它?
与其他类型的技术元数据(如数据字典)一样,技术数据管理员通常是负责数据血统的人(或人们),他们确保数据血统准确地表示公司内部物理数据的流动情况。业务用户可能会使用数据血统来证明对数据的信任,因为可以看到数据的流动路径、旅程中的质量以及数据的总体可靠性;然而,数据血统的管理通常掌握在技术数据管理员手中。
成熟度的表现是什么样的?
有许多成熟的数据血统能力是相关的,但简单来说,数据血统能力的广度和深度是成功的主要指标。当你开始推出这一能力时,可能从单个报告或指标开始。接着,可能扩展到整个数据领域或一套系统。最后,可能会有整个公司所有优先级数据资产的文档化,并具备可持续的数据血统。随着成熟度的提高,你应该能够通过验证发现数据血统中的问题和错误。验证是一种最佳实践,应在你的成熟过程中逐步实现。验证应包括连接数据提供者和数据消费者,以确认结果是否如预期。让我们深入探讨验证。
最佳实践 – 验证数据血统
通过进行端到端血统分析,数据分析师和业务用户可以提高对数据血统能力的信任。验证提供了对技术元数据能力完整性和准确性的信心。
要验证数据血统,选择一个对公司重要的报告;例如,一个包含关键绩效指标(KPIs)的高层管理仪表板可能是一个不错的选择。然后,进行以下操作:
-
优先处理相关报告,并识别报告中的关键业务元素(数据点)。
-
从报告中选择一部分项目进行验证。
-
与产生报告或负责自动化生成报告的个人会面(取决于报告的生成方式)。
-
记录步骤 1和步骤 2中识别的每个独特业务元素的端到端生成过程/关键业务元素。
-
识别提供的文档中存在的任何问题或顾虑。
-
将叙述与收集到的技术数据传承进行比较,并评估任何差距。
-
与报告所有者/生产者讨论识别出的任何差距,验证是否理解或技术传承有误,对理解差距进行再教育,并更新技术传承以解决任何技术问题。
图 7.1 – 示例报告:按产品分类的收入
图 7.2 – 示例元数据流程
最佳实践 – 将技术元数据与业务元数据连接起来
为了将业务和技术元数据的力量结合起来,我们必须能够将这两者连接起来。理想情况下,您的业务和技术数据管理员将共同努力推动这一能力,以便公司能够从已经完成的工作中受益。
图 7.3 – 零售银行部门示例数据供应链
在将特定数据资产纳入元数据管理能力范围时,您的业务数据管理员将努力定义业务定义和计算,并识别数据的适当、最优来源。然后,技术数据管理员将介入,识别物理数据元素并提取技术元数据(或者读取技术元数据,具体取决于您的工具)。关于物理数据元素和数据供应链的细节应进行质量、一致性和准确性审查与验证。
最佳实践 – 优化数据流转
通过利用数据传承,数据团队可以识别全企业范围内的数据重复。当我们能够看到数据在数据供应链中的所有跳跃、跳过和转移时,就可以识别出供应链中的低效环节。这使我们能够发现数据可以更直接地流动的地方,从而减少错误的风险,并优化在多个位置维护相同数据的成本。
如何使用数据传承?
理想情况下,个人应该从他们的问题开始。通常发生的情况是,数据工程师或业务分析师会从诸如“我需要访问数据库 ABC”之类的事情开始。我总觉得这不是一个好的起点,但这却是非常常见的做法。
我的即时反应是“为什么?”,通常会得到一副困惑的表情。
对于回应通常是类似“因为我需要做我的工作”、“我需要制作一个仪表盘”或者“我的老板让我获取一些数据来创建洞察”的情况,这并不罕见。
这种思维方式的问题在于,我们将数据置于了业务理解之前,并且它基于一系列关于数据的假设。实际上,我们应该做的是,在开始请求任何数据访问权限之前,先明确我们要寻找的结果。从“为什么?”开始会得到一个更加具体且快速的结果。它使请求者能更深入地思考他们正在做什么的原因,并且能够让数据团队根据他们所需要的内容,而不是他们想从哪里开始查找的地方,提供更快速的支持。“给我访问权限”的方式基于一种假设,即请求者知道他们请求访问的位置是获取所需数据的最可信版本。
这通常是错误的。
继续前面的例子,如果在没有进一步对话的情况下授予请求的数据库访问权限,请求者将获得数据并继续他们的工作。然而(我不能强调这一点),很可能这个请求背后还有更多的需求,数据的情况也比最初想的要复杂。在这个例子中,可能会出错的地方有几个:
-
数据库中可能没有请求者认为它包含的数据
-
数据可能不适合使用
-
数据的质量可能较低
-
数据库可能不是获取数据的最佳途径,因为它可能并未经过认证
-
请求者需要的分析结果可能已经是现成的(例如指标、数据集,或许是一份报告)
因此,任何技术元数据搜索的第一步都应从业务元数据开始:具体来说,就是业务词汇表(有关业务词汇表的更多信息,请参见第六章,元数据管理)。我建议你回到请求者那里,问他们:“你试图回答什么问题?”
例如,请求者可能是为了获取某个特定产品的收入信息而请求访问财务数据库。他们希望能够访问数据库,以便查询所需的数据。然而,在这个例子中,他们可能不知道的是,你的团队已经制作了一个经过认证的仪表盘,其中包含按产品划分的收入数据,并且这些数据已在数据市场中提供(有关数据市场的更多信息,请参见第六章,元数据管理)。通过向请求者展示数据市场,并告诉他们如何更容易地找到所需的信息,可以节省他们大量的时间,并减少提供不一致信息的风险。
因为你的数据市场充满了经过认证、测试和信任的数据资产,请求者可以轻松搜索并找到他们需要的数据来回答问题。在这个例子中,请求者可以找到按产品划分的收入仪表板,并使用现有的筛选器按他们感兴趣的时间范围进行排序,另外,他们还可以放心,数据是经过认证、验证且值得信赖的。每个人都受益。
构建一个优化的数据血统能力
现在我们对数据血统有了更多的了解,知道了它的表现形式、涉及的人员和它的好处,让我们来探索如何为你的组织构建一个优化的数据血统能力。首先,你需要评估组织的复杂性。你是一个大型的、受严格监管的行业,还是一个小型的、单一产品的公司?并不是每个组织都需要一个完全完善、最先进的数据血统工具。你也可以先手动构建数据血统,证明其可行性,然后再投入数十万甚至更多资金到更强大的工具中。
优先确定你的实施范围。从单一报告或单一指标作为试点开始,证明这一能力。组织一个小团队,参与到该报告的生产中,并帮助他们理解了解数据在组织中流转的价值,以生成报告或指标。追踪数据流转的过程,识别简化和解决问题的机会,并衡量数据质量。
广泛展示试点的好处,让整个组织都知道。更好的是,让报告或指标负责人代为讲述这个故事。让他们分享因为这项功能,他们的工作如何简化和/或得到改善。接下来的挑战将是优先考虑那些愿意站出来的人,他们希望在试点中看到相同的好处。
现在是讨论和优先考虑以下事项的好时机:
-
为什么你应该拥有完整的端到端数据血统(以及适用的使用场景)
-
为什么你不应该拥有完整的端到端数据血统以及替代方案
并不是所有企业范围内的数据元素都需要完整的数据血统。你需要优先考虑最重要的数据资产。记住 ROI 计算,集中精力处理回报最大的数据应用案例。最适合你组织的方法将取决于数据环境的规模和复杂性,以及可用资源的情况。可以从小规模开始,再逐步扩展。
结论
在推动您组织内部强大技术元数据能力的同时,与业务元数据能力的协同工作是非常有帮助的。在推动这一能力在不同项目或数据领域中的进展时,确保您的数据目录随时更新、定义关键数据元素,并与技术元数据(包括数据血缘)对齐,将有助于您建立对业务和技术元数据质量的信心。能够向您的用户展示您在业务和技术方面都有可靠的深度理解,将有助于增强他们对您能力的依赖。记住,从定义范围开始,以帮助设定对业务从此能力中获得的期望,以及何时获得。确保您有清晰的角色和责任划分,并拥有明确、透明且已发布的指标来衡量您的成功。最后,别忘了在过程中讲述成功的故事。
第八章:数据质量
决策的质量与支撑决策的数据质量紧密相关。因此,数据质量影响着组织的方方面面。这是一个(恰当的)大胆声明,但往往被低估。从日常运营到长期战略方向,拥有高质量、可靠且值得信赖的信息不只是“锦上添花”,而是任何公司都必须具备的。这是任何规模公司成功的关键。如何在组织中确保数据质量的操作化应该根据组织的规模和复杂性有所不同,但对数据质量的需求始终如一。它是经营任何业务的核心。
在数据驱动决策的不断发展之中,存在着一个深刻的真理,我们作为数据的管理者和守护者必须谦虚地承认:我们数据的质量是所有分析工作所依赖的基石。在本章中,我将深入探讨数据质量这一至关重要的领域,因为在这里,我们将面对作为我们公司信息守护者的责任的本质。怀着直接而坚定的关注,我旨在阐明数据质量在数据治理中的重要性。在本章中,我不仅会揭示高质量数据的内在价值,还会探讨它为组织带来的变革性潜力。我无法过多强调确保我们的数据不仅仅是数据,而是可靠的、有洞察力的,最重要的是值得信赖的。
很容易建议数据质量是“每个人的责任”(确实如此);然而,最终,还是由你来定义所需内容、定义并实施数据质量能力,并推动公司对数据质量的重视。无论有多少数据在你直接控制之下,你都将为企业范围内的数据质量负责。这可能会让你觉得不公平,但作为数据负责人,这份责任属于你。当发现重大数据错误时,无论你是否直接参与,你都会被召来帮助解决问题。责任将落在你肩上。因此,本章及其中的指导对于你的成功至关重要。
我们将涵盖以下主要话题:
-
数据质量定义
-
核心能力
-
建立最佳的数据质量能力
-
为成功设立数据质量
首席数据与分析官成功的标志之一就是定义并实施可信的数据能力。这不仅向公司展示数据是值得信赖的,还能提供透明度,让他们了解为何可以信任这些数据。当谈到设计最佳数据质量能力时,可信数据是我们将在本章后面探讨的内容。首先,让我们从一些关键定义开始。
数据质量定义
数据质量是数据治理能力,指的是数据在特定背景下的准确性、可靠性和适用性的程度。数据质量的评估维度包括完整性、准确性、时效性、一致性和相关性。如前所述,数据质量是所有组织的核心能力。公司整体数据质量至关重要,单个数据元素、关键报告、运营中的数据质量,以及它们对业务整体运作的影响同样不可忽视。数据质量是建立对我们信息信任的核心。接下来,我们将定义每个数据质量维度,并提供一些示例,帮助理解数据质量是什么,以及它如何在公司中体现。了解基本概念后,我们将迅速进入应用这些核心维度所需的核心能力:
数据 质量维度 | 定义 | 示例 |
---|---|---|
准确性 | 准确性指数据的正确性。准确的数据没有错误,能够真实反映它所代表的现实世界实体和事件。不准确的数据可能导致错误的结论和决策。 | 在客户数据库中,某人的出生日期被记录为 1980 年 1 月 15 日,而正确日期应为 1980 年 1 月 25 日。 |
完整性 | 完整性指是否所有必需的数据元素都已存在。不完整的数据可能会阻碍分析,并导致理解上的空白。 | 一个库存数据库缺少某些产品的记录,导致可用商品列表出现空缺。 |
一致性 | 一致性确保数据统一,并遵循既定标准。不一致的数据可能源于数据输入、格式或术语的变化,导致混淆和数据整合挑战。 | 在销售数据集中,货币单位被不一致地记录为“USD”、“US Dollars”或“$”,使得聚合销售数据变得困难。 |
时效性 | 时效性指数据的最新程度。及时的数据对决策和分析是相关的,而过时的数据可能导致错失机会或决策错误。 | 一份第一季度的财务报告直到第二季度的几个月后才更新,这使得它在决策时的相关性大打折扣。 |
相关性 | 相关性是指数据是否适用于当前的特定任务或分析。无关数据可能会混乱数据集,使得提取有意义的洞见变得更加困难。 | 在营销活动分析中,客户鞋码的数据被纳入其中,尽管它与活动效果无关。 |
有效性 | 有效性检查数据是否符合预定义的规则、约束或业务逻辑。有效的数据遵守定义的标准并确保数据完整性。 | 一个电子邮件地址字段包含了不符合有效电子邮件格式的条目,如 user(at)example(dot)com 而不是 user@example.com 。 |
完整性 | 数据完整性确保数据在其生命周期中保持准确和一致,防止未经授权的更改或损坏。 | 数据库管理员不小心删除或修改了记录,而没有适当的授权,导致数据完整性问题。 |
可信度 | 可信度反映了数据源的可靠性和可信性。来自信誉良好的来源的数据更有可能具有较高的质量。 | 从知名、政府监管的金融机构获得的数据被认为比来自匿名在线来源的数据更值得信赖。 |
表 8.1 - 数据质量维度
数据质量策略
数据质量策略是任何数据质量计划的基础能力。数据质量策略定义了公司整合的、全公司范围内的方式,以实现并保持满足业务目标所需的质量水平。由公司首席数据与分析办公室设定,策略应包括目标、关键任务、计划和衡量标准,以提高和保持组织的数据质量。虽然该策略由中央设定,但应清晰阐明中央团队与业务数据管理人员、技术数据管理人员、架构师、数据分析师等的职责任务。
数据质量策略应包含以下核心组成部分:
-
数据质量目标:首先定义数据质量策略的目的是什么,通过该策略将交付哪些成果,以及成功的具体表现是什么,特别是对贵公司而言(例如,数据质量如何支持数据战略,包括数据治理成果)。
-
当前状态评估:向读者准确说明公司数据的真实情况(好或坏)。尽可能具体,并提供强有力的例子,解释当前数据质量问题对业务的影响。
-
数据质量标准:阐明可信数据的标准。您的标准可能包括数据质量维度的最低规则,以及每个关键数据资产应做什么。若您不确定包含哪些内容,核心能力部分是一个很好的起点。
-
数据质量启用的实施计划:定义实现数据质量所需的流程和工具,以及您和您的团队将如何实施所需的启用机制。
-
修复和问题管理方法:定义如何衡量、报告和修复数据质量。
-
数据质量的所有权和责任:明确哪些角色对于有效的数据质量管理是必要的,以及每个角色的期望是什么。
例如,你的目标可能是“建立一个支持优先级排序、治理和数据质量监管的企业数据质量框架,以提高对关键数据的透明度并增强关键报告的信任”,而评估方法的示例可能是“你可以对一个系统、报告或流程进行基准测试,显示数据的当前质量水平。”该策略的输出应具有可操作性,并转化为实施的路线图。
目的
数据质量策略的目的是在公司内部推动关于数据质量的清晰度和一致性,明确什么是数据质量,为什么它很重要,以及公司如何知道在将信任引入信息中时是否取得了成功。该策略是推动关于当前差距及如何在未来衡量成功的讨论的重要驱动力。大多数高层管理者很难理解策略的投资回报率(ROI)。我建议专注于你将通过策略所带来的业务成果,而不是策略本身。策略为这项工作设定了北极星,但它本身并不会单独交付结果。
你可能希望实施数据质量标准,作为企业数据治理政策的后续。数据质量标准应包括有关数据质量策略的具体信息,规范本章所述的数据质量管理角色和责任(并根据你特定业务的需求进行调整),并提供更多关于如何遵守政策的细节,具体通过采纳数据质量 赋能部分所设定的能力。
责任
首席数据与分析官的组织负责公司的数据质量策略。根据团队的大小和规模,你可能有专门负责公司数据质量的人,或者你可能有负责所有数据治理功能的人;这两者都是负责推动首席数据与分析办公室这项工作的优秀候选人。如果可能的话,建立一位数据质量负责人,最终负责策略的交付以及实施推动公司策略所需的能力。其他相关方应包括以下人员:
-
业务数据管理员
-
技术数据管理员
-
架构师
-
数据工程师
-
数据分析师和业务分析师
-
依赖高质量数据做出决策的高层管理者
“我们到了吗?”
不可避免地,在你开始实施数据质量计划时,你会遇到一个利益相关者,他会问类似“我们什么时候完成?”这样的问题。
数据质量就像锻炼。当你身体不健康时,你需要制定计划并付出努力去恢复健康,但之后你还得保持健康。数据质量是公司锻炼的计划。你需要定义一个计划,创建一个恢复计划(实施),并持续支持数据质量。工作永远不会“完成”,如果不加以维护,公司很快会倒退。
数据质量赋能
数据质量赋能是任何数据质量计划的核心。数据质量赋能为公司提供集中化和标准化的能力,以满足公司的数据质量需求。赋能通常包括支持企业需求的人员、推动公司数据质量需求的流程,以及通常以工具形式提供的技术,支持有效管理数据质量。
目标
通过为公司提供中央能力,您可以确保公司对数据质量有一致的视角,定义了修复问题的通用流程,一种优先级排序方式,以及适当的沟通方式,以便需要了解数据质量问题的人员在最关键的时刻了解这些问题。
它归结为关于数据质量的透明信息、通用工具,重点是将预算和成本集中于共享工具(而不是竞争性工具),以及标准化的流程,旨在使人们能够在数据质量方面最大化他们的时间。
还有一个关键的向量是可重用性。例如,数据质量的赋能可以确保我们一次性衡量关键数据资产,并反复使用它们,而不是每次使用数据资产时都衡量数据质量。赋能团队或职能可以为关键数据资产提供认证流程,以便用户能够查看哪些数据资产已经过数据质量评估、符合预期并且可靠可用。这建立了信任,减少了在组织内寻找和衡量常用数据资产可靠性所花费的时间。公司规模越大,我们越有可能在不自觉的情况下使用通用数据资产,从而带来大规模冗余的风险。试想,当我们能够透明地看到我们拥有哪些关键资产(请参阅章节中关于元数据的数据市场)并知道数据是可靠的时,我们能够节省多少时间(这就是数据质量!)。
问责制
与数据质量战略和数据质量标准一样,数据质量赋能应由首席数据与分析办公室驱动。中央职能部门最适合为公司业务和技术数据管理者创建必要的能力,以推动他们负责的数据质量工作。通常,这个赋能团队要么在数据治理子团队中,要么与工具团队合作。鉴于元数据管理与数据质量紧密结合,通常会将其归为一类。
我曾见过非常有效的项目,其中数据治理团队负责主导数据质量战略、数据质量标准以及整个企业范围内的数据质量项目,而数据解决方案或数据工具团队则提供技术解决方案以支持这些能力。如果你的公司规模较大,这种模式非常有效,因为它将业务和技术技能与交付卓越数据组织所需的解决方案对齐。
电子表格无法扩展
在部署优秀的数据质量解决方案时,完美不能成为良好的敌人。然而,扩展性平衡是需要考虑的一个重要因素。
在我以前的公司之一,我们正在支持从端到端查看几份关键报告,以便在高层管理人员层面管理业务。我们的目标看似简单:这个报告是否足够可信,能让我们的高管做出业务决策?然而,将这个问题落实到操作上,远比我们预期的要难。
我们必须解构正在使用的关键指标。我们当时没有足够的技术解决方案来使这一过程高效或可重复,但我们还是向前推进了。问题是什么呢?报告的内容经常变化。我们没有从源头着手,去衡量数据源的整体情况,而是测量了单个指标。然而,随着指标的演变或新计算方法的引入,我们不得不重新开始,验证数据。如果我们采取更全面的方法,并使用技术来支持这一工作,我们就不会把数据质量记录在电子表格中(定义关键数据元素、映射到源系统以及手动测量质量)。每一次变化都需要大量的人工工作。我们无法扩展规模。
测量数据质量的价值
我相信,如果你在数据领域工作超过一天,你一定经历过这样的情况:有人联系你,坚信他们的数据“错误”。他们希望修复它。归根结底,他们对你说的是:我不信任这些数据。
当我们思考如何衡量数据质量的价值时,我们必须挑战自己,超越预期的思维方式。当我们考虑如何衡量数据质量的价值时,实际上我们是在问:如何衡量信任的价值?对我的公司来说,每天都能信任我们用于决策的信息,意味着什么?能够信任用于运营业务的信息,对我们而言价值几何?对我们的客户创造价值,意味着什么?有效运营呢?如果你能给这一切贴上一个美元的价值标签,那它会是多少?
数据信任的价值在很大程度上取决于你的业务。我们从一个真实的例子开始。
构建对数据质量的信任
市场营销是公司中的一个职能,很多人可能不认为它与数据有关系,但根据我的经验,最优秀的市场营销职能是高度数据驱动的。我曾与一个市场营销部门合作,他们在理解哪些个人可以成为他们的目标客户方面遇到了困难。他们拥有大量的潜在客户数据,但在以下方面感到困难重重:
哪些潜在客户具有准确的电子邮件地址和高质量的数据
潜在客户是否已全面同意接收营销信息,或者仅同意接收特定产品的营销信息(并且并购情况使得这一点更为复杂)
如果最近的同意符合其国家的规定(例如,同意的有效期是多久?)
最终,首席营销官需要衡量营销团队对销售的贡献,但没有可以信任的高质量潜在客户信息,衡量营销对销售的影响非常困难。他们认为自己的团队贡献了更多,但他们无法用数据来证明这一点。
在改善营销潜在客户数据可信度的初期,我们通过根据已确定的“关键字段”进行基本数据分析来设定数据质量的基准。我们将关键字段定义为与联系人记录相关的字段,这些字段是能够向该联系人进行营销所必需的,包括:名字、姓氏、电子邮件地址、公司以及有效同意。我们的初步分析显示,这些关键字段的质量大约为 43%,意味着只有约 43%的联系人在这五个字段中的数据是可靠的。
我们部署了一个数据增强服务,以提高联系人数据的可靠性。它允许我们覆盖低质量数据(例如,在名字和姓氏字段中使用首字母缩写,并填补空白),并通过第三方服务验证电子邮件地址。这样,我们能够纠正输入错误的地址。因此,我们可以处理那些已有同意但电子邮件地址无效的实例,并使用电子邮件地址。总体而言,这一努力使我们的可营销联系人比例从 43%提高到了 85%以上。因此,首席营销官能够证明他们的联系人数据更具价值,并且能够直接追溯到销售,且追溯率更高。这也是他们作为首席营销官成功的一个标志,最终帮助他们成为了一个出色的领导者。这位个人成为了我们数据与分析团队的支持者,并支持我们所主导的进一步转型工作。
最终,拥有可信数据的价值并不仅仅是简单的计算。对于营销部门来说,这是从确保他们可以市场推广到真实潜在客户中节省的成本,他们拥有市场推广到优质潜在客户的信心,并且确保他们遵守法律。他们还需要衡量从优质潜在客户中产生的收入贡献的价值。简而言之,这是成本节约 + 风险规避 + 罚款和处罚规避 + 收入贡献的结合。这种计算会根据用例、部门和公司而异。这里的重要信息是您用业务术语衡量价值。
大多数数据专业人员根据数据质量改进的百分比或错误减少来衡量改进,但不将其带回业务背景。这就是您作为数据领导者可以向公司展示其价值的地方,通过展示数据投资如何在收入增加、节省时间和风险规避方面产生实际的业务影响。这就是您展示对数据的信任和数据投资回报的方式。如果您从这本书中没有带走任何其他东西,就应该是这个。
核心能力
实施数据质量能力可以显著提升数据的完整性、准确性和可靠性,使其成为决策、分析和业务运营的可信资产。值得注意的是,角色可能会根据组织的大小和结构而有所不同。在较小的公司中,一个人可能会处理多个职责,而在较大的组织中,可能会有专门团队负责特定任务。这些角色之间的合作和清晰沟通对确保协调和有效的数据质量管理至关重要。
实现数据质量管理的成熟度表明组织不仅仅实施了核心能力,还将其精炼、优化并整合到日常运营中。
衡量每项数据质量能力的价值,确保组织能够证明其在数据质量管理上的投资,并识别改进的领域。对于每项能力,其价值可以进一步转化为有形的利益,如货币节省和收入增加,或者无形的利益,如增强的利益相关者信任、改善的品牌声誉和组织灵活性。将数据质量能力的价值转换为美元或时间,需要理解组织的具体财务和运营背景。为了准确地获得每项能力的美元或时间价值,组织需要进行详细评估,考虑其运营成本、业务背景以及数据问题的后果。计算价值的框架应由数据办公室定义;输入应由业务提供。我们在这里不会深入探讨细节,但可以使用之前在衡量数据质量的价值部分中定义的框架,应用到你的组织。
数据分析
通过一种名为数据分析的基础能力,建立对现有数据状态的理解,包括不一致性、异常和模式。数据分析通常由业务数据管理员和技术数据管理员共同执行。业务数据管理员可以提供关于数据的业务含义和使用方面的专业知识,而技术数据管理员可以提供关于数据的技术方面的专业知识:
-
业务数据管理员通常对他们所管理/负责的业务数据有深入的了解,这包括理解(或定义)数据的含义、使用方式以及质量要求。他们最有能力识别数据质量问题,并定义所识别问题的业务影响。业务数据管理员应当做以下事情:
-
确定数据元素的数据质量业务需求
-
确保对他们的数据元素实施数据质量分析
-
定义管理数据的业务规则
-
确定数据分析的频率(考虑数据变化的频率、数据量和他们管理的数据元素中的问题数量)
-
审查和分析数据分析报告,以识别和理解数据质量问题,并向数据用户报告相关问题
-
与数据管理员(其他业务数据管理员和技术数据管理员)一起解决数据质量问题
-
确保数据分析完整、适当衡量、监控,并且对用户透明发布
-
-
技术数据管理员通常对数据有技术性的理解,例如结构、格式和系统。技术数据管理员负责协助业务数据管理员识别必须支持业务数据管理员需求的数据元素的物理位置。他们利用这种技术理解来识别并解决支持业务数据管理员的数据问题。技术数据管理员应该做以下事情:
-
设计并实施数据分析作业
-
配置并使用数据分析工具
-
分析数据分析报告,与业务数据管理员合作,识别和排查数据质量问题
-
与其他技术数据管理员合作,识别数据质量问题的上下游影响以及所需的修复措施
-
-
数据工程师负责在系统内实施分析需求,以便为业务数据管理员、技术数据管理员及最终用户提供有关数据状态的透明信息。
-
用户(数据分析师、业务分析师、高级管理人员)负责理解数据分析工作的结果,并在使用数据满足业务需求时考虑通过分析识别出的任何问题。
下图展示了业务数据和技术数据管理员合作的流程:
图 8.1 – 业务数据和技术数据管理员合作的简单流程
有一些简单的措施,你可以在团队内部采取这些措施,以展示你的团队在改善公司数据质量方面所取得的进展。基本的措施包括以下内容:
-
每个领域或系统中分析的数据集的百分比
-
在使用数据进行分析或运营时,减少意外或问题的发生(例如,开始时有多少问题,现在还有多少问题)
-
避免因错误的数据驱动决策或法规报告错误所带来的成本节约(例如,是否发现了一个重要错误,这个错误可能导致财务报告失误?)
-
通过采用自动化数据分析解决方案,减少手动识别和解决数据问题所花费的时间
数据清理
清洗数据的过程被称为数据清洗。数据清洗识别并修正数据集中的错误、不一致性和冗余。简而言之,数据清洗将数据修正到符合用户期望的标准。数据清洗应尽可能接近数据源进行,以确保正确且可信的数据能够在整个组织中流动,并且已经被修正。在数据修正的每个环节,业务数据管理员和技术数据管理员都有共同的责任,确保用户了解数据的修正(由业务数据管理员负责),并且修正后的数据能够上行和下行传递(由技术数据管理员负责)。
当修正后的数据看起来是错误的
在一次系统实施过程中,我的团队改进了一个特定数据集的质量。数据的用户报告了数据质量问题。为什么会发生这种情况?
我们没有适当地通知数据用户他们应该预期的变化及这些变化会是什么样子。因此,当数据发生变化时,尽管得到了改善,用户却认为它看起来与预期不同,从而导致他们认为数据是错误的。
就像数据分析一样,业务数据管理员和技术数据管理员之间的合作对这项能力的成功至关重要。业务数据管理员应该识别出需要清洗的数据元素(因为并非所有数据元素都同等重要,清洗是有成本的),并与数据用户合作,确定清洗能力的优先级和重要性。技术数据管理员则负责在系统中实现清洗活动,并确保上下游系统知晓正在进行的数据清洗,以预先警告消费者数据将发生变化。
由于公司中并非所有数据元素都能进行清洗,因此定义数据清洗策略非常重要,必须明确哪些数据元素对于清洗至关重要,并且要制定优先级机制,以确定哪些数据元素应当优先处理,为什么。你可能需要利用企业数据委员会或数据治理委员会来支持并批准你的优先级方法。
高级数据清洗功能可能会为公司提供集中式的清洗服务。例如,联系人地址标准化就是一个例子。联系人数据通常分布在整个组织中,可能包括市场营销、销售和客户服务数据。可以创建一个中央数据清洗服务,为这些部门提供地址标准化和数据丰富化服务,这样公司只需支付一次费用,就能为多个部门提供价值。
类似于数据分析,数据清洗的价值也通常以非常相似的方式进行衡量:即以商业价值、创造或节省的金额,以及时间缩短为标准。一些例子包括以下内容:
-
数据清洗后,数据错误的减少百分比(或按计数与百分比进行比较)。
-
增强决策分析中的信心(注:在衡量信心时,重要的是统一如何以时间或资金为衡量标准)。
-
通过避免基于错误数据做决策节省的资金。
-
减少手动纠正数据的时间。
-
自动化更正次数/已识别错误次数。
-
所需手动干预次数/已识别错误次数。
随着时间推移,手动干预应减少,数据质量应得到提升。随着数据质量的提高,您应该能够更轻松地识别问题。这应能释放资源,集中处理更关键的问题,专注于业务影响,而不是手动更正数据。
数据验证和标准化。
确定数据是否有效的过程称为数据验证。数据验证确定给定字段适合的值。例如,可能是一个数值范围(0-99)或一组特定值(例如,北美行业分类系统(NAICS)代码),该字段允许包含的内容。验证还可能包括字段是否可以包含字符或数值。验证要求字段符合特定的预期值。
同样,数据标准化通过统一数据格式、单位和定义,确保组织内部数据的一致性。通常与验证一起定义,这两项功能确保数据按预期格式和一致性展示。标准化工作确保相同的数据在各系统之间一致出现,并且在最成熟的状态下,可以在报告层级展现。
类似于数据剖析和数据清洗,业务数据管理员和技术数据管理员应协同工作,确保这些功能被全面采用:
-
业务数据管理员应定义适合字段的值,以满足数据用户的需求,并在整个公司范围内启用。
-
技术数据管理员应与工程师合作,在系统中实施验证规则,并确保验证在全公司范围内一致(标准化)。
衡量这两项功能的价值可以保持相对简单。几个常见的成功度量标准包括:
-
数据录入错误率(随着时间推移,应接近零)。
-
验证失败的次数/比率。
-
减少操作中断和减少数据修复/更正成本。
-
整合或数据摄取后,减少数据更正错误所节省的资金。
-
由于验证失败的减少,数据处理速度更快。
-
在所有数据摄取点进行自动化验证检查。
数据丰富化。
数据丰富化是向现有数据集添加新的补充信息的过程。此过程可以通过将来自内部来源的第一方数据(即贵公司的数据)与来自其他内部系统或第三方数据(即外部来源的数据)结合来实现。有几种方法可以丰富数据,一些常见的方式包括添加以下内容:
-
人口统计数据:这可能包括诸如年龄、性别、收入、位置和教育等信息。
-
企业数据:这可能包括公司规模、行业和收入等信息。
-
行为数据:这可能包括诸如网站访问、产品购买和社交媒体互动等信息。
-
情境数据:这可能包括诸如一天中的时间、地点和设备类型等信息。
数据丰富化可以用来提高数据的准确性、完整性和相关性。这对多种目的具有益处,如下所示:
-
改善客户细分:丰富的数据可以用来创建更准确和详细的客户细分。这有助于企业更好地了解客户的需求和偏好,并向他们推送更相关的营销和销售信息。
-
个性化客户体验:丰富的数据可以用来在所有渠道上个性化客户体验。例如,企业可以利用丰富的数据向客户推荐相关产品或服务,或为他们提供更个性化的支持。
-
改进欺诈检测:丰富的数据可以用于识别和防止欺诈行为。例如,企业可以利用丰富的数据来验证新客户的身份,或者检测欺诈交易。
-
做出更好的商业决策:丰富的数据可用于在组织的各个领域做出更好的商业决策。例如,企业可以利用丰富的数据识别新的市场机会,优化定价策略,并改进产品开发流程。
数据丰富化可能是一个复杂且耗时的过程,但它对各类企业来说都可能是一个有价值的投资。通过丰富数据,企业可以更深入地了解客户,改善市场营销和销售工作,并做出更好的商业决策。简单的价值衡量标准包括以下几点:
-
丰富后数据属性或特征的增加
-
提升洞察力和更强的预测建模能力
-
通过更精确的营销或分析洞察提高收入
-
降低人工数据收集过程的成本
更具体地,对于前述的例子,您可以通过以下业务指标来衡量这些丰富化服务的价值:
-
改进的客户细分:你可以通过将预测的细分成员与实际的细分成员进行对比,来追踪客户细分的准确性。你还可以追踪针对特定客户细分的营销活动的表现。
-
个性化客户体验:你可以追踪客户满意度和保持率,以衡量个性化客户体验的影响。你还可以追踪点击率(CTR)和转化率等指标,以衡量个性化营销活动的效果。
-
改进的欺诈检测:你可以追踪通过数据增强所检测和防止的欺诈交易数量。你还可以追踪通过防止欺诈交易所实现的成本节省。
-
更好的业务决策:你可以追踪使用增强数据所做的业务决策数量。你还可以追踪这些决策的财务影响,例如收入增加或成本减少。
这些可能很难具体衡量。这里有一个具体的例子,展示如何更具体地拆解衡量标准:
-
业务目标:提高客户细分的准确性。
-
衡量标准:正确分配到其客户细分市场的客户百分比。
-
基准:70%的客户被正确地分配到他们的客户细分市场。
-
数据增强后:85%的客户被正确地分配到他们的客户细分市场。
-
结果:客户细分的准确性提高了 15%。
反馈循环、异常处理和问题修复
尽管数据用户在数据质量程序的整个开发过程中都参与其中,但他们最为投入的阶段是程序启动并运行之后。当你通过数据分析、验证、增强等方式将业务规则配置到系统中时,数据质量程序的效果开始显现。首次发布的结果通常会让业务用户感到有些不适应。如果数据质量一直未受到重视,结果往往会令人震惊。作为数据专业人士,你的工作是帮助用户理解,第一次发布的结果只是一个基准。初始结果的作用是展示我们目前的状态。
反馈循环
当你开始与数据用户及各类数据管理员合作时,你的角色是确保数据质量项目为数据管理员和你的团队建立了适当的反馈环,以便你可以改进数据质量项目的实施,并支持管理员在提高数据可信度方面的工作。反馈环在你项目的多个环节中都很重要,但首先,它应当建立在用户和业务数据管理员之间。你可能需要帮助业务数据管理员指导如何建立适当的反馈论坛,以收集关于数据质量的反馈。他们可能会发现通过按数据领域建立数据管理委员会来提供反馈和优先级设置对数据质量修复重点的集中非常有价值。
你还应该为业务数据管理员和数据领域主管提供一个论坛,以便他们提出重要的跨职能数据质量问题,供企业优先处理(如有需要)。企业数据委员会和数据治理委员会是处理此类复杂数据问题的绝佳选择,这些问题需要企业资金、优先级安排或关注。让我们从探索数据问题如何被提交到这样一个论坛开始。
相反,业务数据管理员可能已经识别出一个数据质量问题,最终用户决定这个问题不重要,不值得采取修复措施。记录数据质量问题的优先级和处置过程非常重要。你不希望处于一种我们不确定数据质量问题是否真正存在,或者它只是一个不值得花时间和精力去修复的数据缺陷的情况。我建议创建一个处置日志,这样你可以跟踪你识别出的所有问题,并记录是谁批准了这一处置,从而为你的决策过程提供备查资料。
异常处理
在数据生命周期中,可能会有一些时刻对于数据质量流程作出例外处理。例如,某个数据度量可能已经定义了数据血统流程,并且为了财务报告目的,数据必须达到特定的质量标准。然而,为了进行临时分析,我们可能接受较低的数据质量水平,以便更快地获得见解。定义异常时,考虑数据的使用场景非常重要。在这个例子中,用户可能需要一次性提取收入数据,以便进行季度收入目标的合理性检查。此提取可能不需要完美。用户应当被告知,该数据提取没有经过所有正常的控制流程,但如果他们理解这一点,异常处理流程就显得非常合适,尤其是当时间紧迫时。
异常处理的重要性在于确保异常不会成为常态。你应该定义适当的时机来处理可能的异常。如果你发现某个特定请求经常出现,考虑它是否真的是一个异常,还是仅仅在绕过预期的信息流。
实用提示 |
---|
让我们从 IT 同行那里汲取经验,制定一个严重性评估方法。在 IT 领域,IT 问题根据一系列标准被分类为Sev1、Sev2等。根据该严重性等级,采用不同的流程来推动紧急处理。对于数据问题,我们也可以采用相同的方法。如果问题较为严重或导致系统停机,可能应该归为Sev1,并按最高级别的升级和修复流程处理;而对于轻微的数据问题,可以在几周或几个月内修复,不会对业务造成太大影响,可能只是Sev3。 |
在数据元素层面,你可能会发现数据中存在异常,这也可能被视为一个异常。你应该与业务数据管理员合作,确定这个异常是否真的是异常,以及为什么它会成为异常。是控制失效了吗?数据在传输过程中被损坏了吗?你是否从第三方收到错误的文件?数据出现某种异常可能有多种原因。重要的是,你需要遵循标准化流程来处理异常并最终解决它们。以下是如何管理特定类型数据质量异常的一些示例:
-
缺失数据:如果你的数据集中有大量缺失值,可能需要考虑对缺失值进行填补。可以通过多种方法来实现,例如使用列的平均值或中位数,或使用机器学习(ML)模型来预测缺失的值。
-
不一致的数据:如果你有不一致的数据,可能需要手动修正数据,或者更新数据质量规则以允许数据的不一致性。例如,如果你有一个日期列格式不同的数据集,可能需要在使用数据之前统一日期格式。
-
重复数据:如果你有重复数据,可能需要去除重复项或将其合并为一个单一记录。例如,如果你有一个数据集中有两个客户记录,且名字和地址相同,你可能需要将这两条记录合并成一条记录。
通过这个过程,你可能会发现这个所谓的异常根本就不是异常,而实际上是一个数据问题,应该按照问题修复流程进行处理。
问题修复
当识别出重大数据问题时,业务数据管理员应该审查并全面理解问题及其来源,并提出修复问题的方案。如果问题重大,跨多个数据领域,或者对公司有重大影响,则应将其上报至适当的论坛。简化后的问题修复流程可能如下所示:
图 8.2 – 示例问题修复流程
最重要的是定义一个问题修复流程。这将使你能够定义适合你公司情况的例外情况和反馈循环。
在我看来,最接近数据的人最有可能最好地理解数据,并且应该是那些在这些论坛中提出问题的人。这可能意味着分析师级别的人会向高级管理层汇报。作为数据负责人,你应该支持拥有最多信息的人,帮助他们根据合适的受众调整报告内容,这可能会导致偏离上述标准化流程。
有许多很好的方法来衡量反馈循环、例外处理和问题修复的价值。一个需要考虑的因素是:在数据质量管理的最初阶段,你会看到问题激增。我预计在 12 到 18 个月内问题数量会趋于平稳,但具体时间可能因数据质量衡量和修复工作投入的时间和资源不同而有所不同。不管怎样,以下指标是展示你的反馈循环、例外处理流程和问题修复工作的价值的好方法:
-
反馈实例数量导致的改进
-
用户满意度的提高(类似于净推荐值(NPS))
-
修复努力带来的效率提升(时间、金钱)
-
数据处理中的迭代周期减少
-
解决数据例外的平均时间
-
平均问题修复时间
-
待解决问题数量
建立优化的数据质量能力
成熟的数据驱动型公司不仅实现了前面章节中的各项独立能力,而且以整体的方式将它们整合在一起,确保数据质量融入公司运营和整体文化中——一个重视并期望信任信息的文化。在这种情况下,信任的信息是基础,任何其他信息都将被排除。这包括对报告、运营和分析中使用的数据质量进行测量、监控和报告的期望,所有范围内的数据元素、资产和集成都要符合此要求。
“在范围内”意味着什么?这并不意味着每一个数据元素、每一份报告或仪表板,或者每一个集成都需要被衡量、监控和报告。那样做与完全不做任何衡量、监控或报告(出于相反的原因)一样不合理。相反,最优的数据质量需要对正确的数据元素、正确的报告和正确的集成进行深思熟虑、有意的界定,以确保公司的资产(资金、资源、时间)在公司的最重要和最相关的数据上得到明智的应用。
理解数据质量,并能够在“我可以信任它吗?”这个问题上持有有据可依的立场,对于任何数据用户或用于决策的信息使用者来说都是至关重要的。建立数据质量能力使首席数据官(CDO)及其团队能够为其数据站台,并能够捍卫信息的质量。
当我们考虑最优的数据质量能力时,它归结为几个关键步骤:
-
确定哪些数据是关键的,并利用优先级框架
-
对数据进行分析,以提供有关基础数据的洞察
-
与用户合作,定义数据的适当业务规则
-
编写并测试数据元素规则
-
将规则推广到生产环境中,以便生成数据质量的洞察
-
监控并向业务数据管理员和数据用户报告数据质量
-
解决适当的问题,利用反馈循环、例外管理和问题管理过程,在适当时利用委员会、管理小组和数据委员会
该过程的流转可能如下所示:
图 8.3 – 从入职到报告的最优数据质量监控
数据管理员(包括业务和技术人员)的角色不可过分强调。他们是实现最优数据质量能力的关键成功因素。没有高质量的管理员与信息用户互动,并对数据、其使用方式以及面临的挑战有深入理解,数据质量将仅仅是一个走形式的活动。当数据管理工作做到位时,公司的数据将获得高度信任,因为它将得到极其出色的照料。因此,确保您的数据管理员承担数据质量责任,对数据程序的成功至关重要。
认证数据
在建立强大的数据质量程序时,您可能想考虑启用认证数据过程。结合元数据和数据血统,数据质量可以帮助您部署数据认证过程,不仅能提高常见数据元素或精心策划的数据集的可重用性,还能提升数据质量工作的价值。
首先,确定组织中经常使用的数据元素或数据集。你可能想从一个用于运营和报告目的的指标开始(例如客户数量)。平均客户数量是一个很好的例子,因为它看起来简单,但往往有争议。为了认证公司的客户数量,首先需要定义谁是平均客户数量的业务数据管理员。这个人将与相关利益相关者合作,以对客户数量的定义达成一致。为了这个例子,我们假设客户的定义是:“在过去 12 个月内购买过一个或多个产品的个人或公司。”为了计算平均值,我们需要从多个系统中提取信息。
下一步是对“平均客户数量”这一术语的计算方式和数据源达成一致。对于这个例子,我们假设计算方法如下(截至 2023 年 1 月 1 日):
客户数量 = 过去 12 个月的交易总数 / 每个客户的平均交易次数
每个客户的平均交易次数可以通过将某一时期的交易总数除以该时期的客户数量来计算。例如,如果一家公司在过去 12 个月有 100,000 次交易,并且每个客户的平均交易次数为 2 次,那么客户数量将是:
客户数量 = 100,000 次交易 / 每个客户 2 次交易 = 50,000 名客户
这个公式可以适用于任何公司,无论其行业或规模如何。然而,需要注意的是,计算的准确性将取决于使用数据的质量。例如,如果公司没有一个良好的客户交易追踪系统,那么结果可能不准确。
这是计算过去 12 个月内与公司发生交易的客户数量的分步指南:
-
收集过去 12 个月内的交易总数数据。此数据可以在公司的销售记录或客户关系管理(CRM)系统中找到。
-
计算每个客户的平均交易次数。这可以通过将某一时期的交易总数除以该时期的客户数量来完成。
-
将过去 12 个月的交易总数除以每个客户的平均交易次数,即可得到客户数量。
注意:一旦你计算出过去 12 个月内与公司发生交易的客户数量,你可以使用这些信息来追踪客户流失、识别客户群体,并制定有针对性的 营销活动。
从这里开始,你应该识别此数据的最佳来源。例如,你可能从客户数据平台(CDP)提取客户信息,而销售信息可能来自你公司的 CRM 平台。业务数据管理员将负责确定该数据的授权来源。
一旦确定了数据的定义、计算方式和来源,业务数据管理员将与数据办公室合作,评估数据的溯源,验证溯源(请参见第七章了解溯源功能的详细信息),并衡量数据质量。任何溯源和质量的问题都应该得到修复(或披露给用户)。你需要利用数据溯源功能,追踪数据在系统中的流动,确定测量数据质量的地点。必要时,进行数据分析、补充和去重工作,以增强和改善数据质量。一旦该指标被验证为值得信赖,数据办公室可以将其标记为认证。
如果你已经部署了数据市场,这应该是发布用于消费并标记为认证的指标的地方。这将向数据市场的任何用户展示“平均客户数量”指标是值得信赖且可靠的。它还向用户表明,任何其他指标不是授权且认证的指标,因此不应像认证指标那样被信任。这个过程可以在组织的所有关键指标中重复应用,并适用于常用数据集、报告等。
透明度
建立信任的最佳方式是通过透明度。当数据质量低时,失去信任的最佳方式就是不公开分享结果。当你的数据质量工作结果表明数据不应该被依赖时,你应该公开这些结果,并利用用户的反馈推动修复工作。如果重要数据质量较低,揭示这种不足将获得对修复工作的支持,并且通常可以促使资金和资源的增加,以帮助推动你的数据质量项目。不要害怕报告你的不足,它会帮助你。
成功设置数据质量
我对建立数据质量程序的最佳建议是从小做起,具体明确,保持透明,并迅速扩大。选择少数几个指标或几个关键报告,展示理解数据、追踪溯源和衡量数据质量的价值。迅速且明确地修复问题,并展示这些关键指标和/或报告中的数据改进。
要与所有利益相关者,包括用户和高管,明确说明:目标不是为企业创建完美的数据。目标是将资源(时间、金钱、人员)投入到能带来最高回报的地方。你可以花费无限的时间和金钱去修复每一个数据元素,但这就像试图修补每个海洋中每只船上的所有漏洞。有时,你只需要建造一艘更好的船。你可能会遇到报告质量极差的情况。与其试图修复每一个错误,不如完全重建报告,使用不同的数据源或指标。你需要运用你的专业判断,决定针对关键指标和报告采取最佳的行动方案。做出明智选择,并快速交付可衡量的改进。
实时请求
你可能会遇到业务用户要求对其数据质量进行“实时”洞察的情况。作为数据专业人士,你的工作是以可信的方式质疑这个请求。带着好奇心,去了解业务希望实时衡量其数据质量的原因。首先,衡量实时数据质量需要在生产环境中测试数据,这可能会影响生产系统的性能。通常,数据是在较低环境中使用生产数据的副本进行分析,以避免影响性能。其次,大多数“实时”请求通过当日或每小时报告来满足,而不是“实时”报告。努力弄清楚推动请求的业务需求,然后做出相应的反应。有时,数据专业人士急于取悦他人,未经评估真实的业务需求就答应了。实时数据通常伴随着巨大的成本,甚至是轻微的延迟(几个小时)也会带来显著成本,而且需要不同的底层系统性能配置和集成,通常在基础设施、处理和人员监控交付上有着巨大的成本。
实时性可能适得其反
有时候,实时性可能会适得其反。当你在实时集成系统时,出于确保操作能够获得高质量数据的考虑,这样可以快速访问优质数据。然而,当事情出错时,你也会在实时传播数据问题。
设计 CDP 将清洗和丰富的客户数据推送到 CRM 平台并不罕见。客户数据通常会在 CRM 中捕获,推送到 CDP 进行丰富,然后再推送回 CRM。在一个实例中,CDP 中引入了一个 bug,导致层级信息(将各个公司与其母公司连接起来的结构,用于交易、销售区域映射、按地理位置、账户执行人等进行收入报告)被删除。当 CDP 中的层级数据被删除时,它被复制到 CRM 中。在 CRM 中,这些失去母公司信息的孤立客户记录丧失了区域分配。数据随后被推送回 CDP 时没有区域分配。结果是客户数据记录在两个系统中都出现了空白。我们从几个孤立账户在几分钟内增长到几千个,几个小时内增长到数十万个,直到我们不得不关闭同步过程。恢复并修复两个系统中的完整数据集的准确性花了几周的时间。
如果实时要求是几小时而不是实时,我们本可以在没有如此大影响范围的情况下发现复制问题。有时候,流程中的故意摩擦可以避免这些问题,且影响较小。一个简单的空字段验证检查可能也能阻止复制任务,并在问题扩散前提醒团队。
与其他系统的集成
强大数据质量程序的另一个方面是评估数据管道。通常,数据质量分析和测试是在系统级别或集成级别进行的,而不是在元素级别进行的。做这两者是有原因的,在合适的时间应用正确的方法是资源合理分配的最佳方式。集成数据质量可以通过几种方式进行衡量,以确定集成测量的价值:
-
从数据采集到验证以及后续修正之间的延迟
-
决策时间 (TTD),即从源系统数据采集到报告的时间
-
通过即时或实时错误检测和避免下游系统影响所带来的节省
-
无需人工干预的实时修正次数
-
成功集成的数量且没有数据质量问题
-
系统间数据流动的速度
数据质量的最终成功归结于理解业务需求、所需的质量标准,并产出透明的结果,让业务数据管理人员能够在符合需求的时间框架内采取行动修复问题。从小处着手,快速扩展,广泛分享结果。这就是如何在数据中建立信任。
结论
在本章中,我们探讨了数据质量的基本概念及其在推动明智决策中的关键作用。我们建立了一个框架,用于理解数据质量的各个维度,包括准确性、完整性、一致性和时效性。我们进一步深入分析了数据错误和缺陷的不同来源,强调了积极的数据质量管理实践的重要性。现在,你应已牢固掌握以下领域:
-
数据质量的重要性,包括它为何对建立数据信任至关重要
-
如何定义数据质量战略和框架
-
实施时的具体需求
-
如何设计具有影响力的数据质量解决方案
-
如何为公司成功设置数据质量
通过优先考虑数据质量,组织可以释放其信息资产的真正潜力。干净、一致、可靠的数据促进有效的分析,增强对洞察的信任,并最终推动更好的业务成果。接下来,以下章节将深入探讨具体的数据能力,但请始终牢记数据质量。数据质量是所有数据管理能力实施的关键,在实施主要数据和数据操作时应予以考虑,且将在第十七章的使用案例中展现。现在,你已具备了评估、改进和维持数据质量的实践知识,以实现最佳效果。
第九章:数据架构
在整个组织中设计信息流的模式和最佳流动,有时更多的是一种艺术而非科学。当涉及到优化信息的可访问性、实现治理和推动公司数据使用时,数据架构作为战略驱动因素的使用通常是在信息流动存在问题时才被考虑的。不幸的是,这导致了一个范式的转变,关于传统架构如何在利用公司数据的力量上存在不足。组织随后需要确定如何设计架构,以支持公司不断变化的需求,并采用一个新的范式:优化数据。
传统 IT 架构关注的是 IT 系统和基础设施的设计与实施,以支持业务操作。它涵盖了广泛的技术和组件,包括服务器、存储、网络和应用程序。另一方面,数据架构专注于组织内部数据资产的设计与管理。它涵盖了数据模型、数据标准和数据治理流程的定义。这就是为什么传统 IT 架构通常不能满足数据用户需求的原因:它并非专为他们设计。
传统 IT 架构和数据架构之间的主要区别在于,传统 IT 架构专注于支持业务操作的系统和基础设施,而数据架构专注于数据本身。换句话说,传统 IT 架构关注的是数据如何被收集、存储和处理,而数据架构关注的是数据如何被组织、定义和使用。
特点 | 传统 IT 架构 | 数据架构 |
---|---|---|
关注点 | 系统和基础设施 | 数据 |
范围 | 广泛的技术和组件 | 数据模型、数据标准和数据治理流程 |
目标 | 支持业务操作 | 提高数据质量、可访问性、安全性和合规性 |
表 9.1 - 传统 IT 和数据架构之间的主要区别
数据架构很重要,因为它帮助组织最大化利用数据。一个设计良好的数据架构可以帮助组织做到以下几点:
-
改善数据质量和一致性
-
提高数据可访问性和可用性
-
增强数据安全性和合规性
-
支持数据驱动的决策制定
数据架构是任何希望充分利用数据的组织的核心组成部分。一个设计良好的数据架构可以帮助组织提高数据质量、可访问性、安全性和合规性。它还可以支持基于数据的决策,并提升业务表现。在设计数据架构时,重要的是要牢记简洁原则。一个简单的数据架构更易于理解、使用和维护,也能帮助提高数据分析的效率和效果。
我们将覆盖以下主要主题:
-
数据架构定义
-
数据架构的价值
-
核心能力
-
构建最佳数据架构能力
-
为成功搭建数据架构
数据架构定义
数据架构是指组织的数据系统的设计和结构,包括数据库、数据存储、数据集成和数据管理过程。它是组织整体 IT 基础设施的关键组成部分,并在数据的收集、存储、处理和利用中发挥至关重要的作用。就像建造房屋时,蓝图作为建房的规划一样,在数据治理中,数据架构则作为数据构建的蓝图。数据架构涵盖了数据系统和过程的设计、开发和治理。
简单制胜
在设计数据架构时,重要的是要牢记简洁的指导原则。复杂的数据架构难以维护和管理,也可能使得从数据中提取洞见变得困难。而简单的数据架构则更易于理解和使用,有助于提高数据分析的效率和效果。强大数据架构的范围包括以下几个方面:
-
数据来源:识别数据的生成或收集地点,无论是来自内部系统、外部来源,还是用户生成的内容。
-
数据存储:确定数据存储的方式和位置,是否存储在传统的关系型数据库、NoSQL 数据库、数据仓库或数据湖中。
-
数据集成:定义将来自不同来源的数据组合和转换为统一格式的过程和机制,以便进行分析和报告。
-
数据处理:决定数据如何处理,是通过批处理、实时流处理还是其他方法。
-
数据访问:为用户和应用程序提供有效访问和检索数据的机制。
数据架构是任何希望充分利用数据的组织的核心组成部分。一个设计良好的数据架构可以帮助提高数据质量、可访问性、安全性和合规性。它还可以支持基于数据的决策,并提升业务表现。
数据架构的价值
总体来说,一个设计良好的数据架构对任何希望最大化利用其数据的组织来说都是必不可少的。通过遵循简洁性和可扩展性的原则,组织可以设计出满足当前和未来需求的数据架构。一个良好的数据架构可以帮助组织做到以下几点:
-
推动强有力的数据治理实施:通过确保数据得到有效组织、存储和处理,数据架构可以减少冗余和不一致。
-
提高数据质量和一致性:通过建立数据收集、存储和处理的标准和流程,数据架构可以确保数据在所有系统中准确、完整、一致。
-
增加数据的可访问性和可用性:数据架构可以帮助让数据对用户更易访问,并且便于分析使用。这可以通过开发数据仓库和数据湖,创建数据模型和仪表盘来实现。
-
增强数据安全性和合规性:数据架构可以帮助保护数据免受未经授权的访问和滥用。它还可以帮助组织遵守数据隐私和安全法规。
-
支持数据驱动的决策制定:通过使数据更易访问和使用,数据架构可以帮助组织基于数据做出更好的决策。这可以带来业务绩效的提升和竞争优势。一个良好的数据架构促进数据分析,使企业能够获得有价值的洞察并做出数据驱动的决策。
-
确保可扩展性:一个设计良好的数据架构应该能够随着公司业务需求和数据需求的增长而扩展。与公司战略和数据战略的紧密结合应当使可扩展性得到适当考虑。
-
满足安全性和合规性需求:有效的数据架构有助于保持数据安全并遵守监管要求。
-
推动成本效率:通过优化数据存储和处理,数据架构可以通过简化存储成本、减少处理量和消除冗余来节省成本。
优化聚合
考虑一个拥有数十年历史数据的非常大的组织。数据通过数百个源系统进入组织,点对点地连接和移动,没有“目标状态”或“北极星”架构。你可以想象,这会导致冗余、数据质量问题、在需要时提取数据的困难,以及整个企业信息的不一致性。
在这个具体的案例中,公司制定了一个计划,通过战略性地逐步优化信息流动。这需要对特定数据集的管理方式、它们如何在组织中流动、需要哪些共享数据(见第十章,主要数据)以及这些数据应当如何统一进行战略性思考。
在这次构建过程中,有些关键决策效果良好,包括以下几个方面:
-
我们在优化什么?成本?简洁性?聚合?
-
谁负责做出这些艰难的决策?
-
我们将多快重新架构公司?
这些决策被用来定义北极星,从而设计数据架构。当你在为你的组织考虑数据架构时,这些问题可以帮助你定义“目标状态”可能是什么样子,以及你将如何规划实现路径。
为什么数据架构常常被忽视
数据架构在组织中常常被忽视,原因有很多,包括对其好处缺乏理解。许多组织没有充分理解数据架构的好处,或者甚至不知道它的存在。许多组织专注于短期收益,比如完成季度收入目标。数据架构通常被视为一种长期投资,因此很难在一开始就证明其成本和努力是值得的。改变现有架构也是一项昂贵的工作,因此,大多数公司缺乏耐心和专注力去实现长期规划。此外,数据架构可能很复杂,且很难知道从哪里开始。这对资源有限的小型组织来说尤其具有挑战性。与此同时,数据架构师的短缺也使得寻找和聘用合格候选人变得困难。
这些挑战通常会导致数据架构被降级为次要任务,或者仅仅是一个参考因素,而不是一个做出决策的约束机制。这往往使得数据和分析专业人员在服务利益相关者时面临更多的困难,因为公司技术环境中的潜在复杂性。
然而,作为数据专业人员,你必须倡导数据架构的严谨性,因为数据架构是任何希望充分利用数据的组织的核心组成部分。一个设计良好的数据架构可以帮助组织提高数据质量、可访问性、安全性和合规性。它还可以支持数据驱动的决策制定,并推动业务绩效的提升。
下面是一些克服数据架构挑战的建议:
-
从清晰了解你的业务需求开始:你的业务目标是什么?你需要哪些数据来实现这些目标?一旦你清楚了解了业务需求,就可以开始制定一个满足这些需求的数据架构。
-
采取分阶段方法:数据架构是一个复杂的工作,采用分阶段方法非常重要。首先,制定数据架构的高层次概述。然后,您可以分阶段开始实施数据架构的不同组件。
-
投资培训与发展:如果贵公司没有内部技能来开发和实施数据架构,您可能需要考虑投资于员工的培训与发展。您也可以考虑聘请顾问来帮助您入门。
有用提示 |
---|
请记住——实现目标状态的数据架构是一个多年的过程,有时需要 5 到 7 年。由于公司不太可能实施完全新的平行生态系统,战略过渡通常会分多个阶段执行。我参与过的最成功的实施通常有多个阶段:第一阶段是可以快速完成的部分,第二阶段是整合或淘汰工具和平台的阶段。后续阶段是必须进行更多实质性变更的阶段,并且需要额外投资。将这些内容不断呈现给做出资金决策的人员非常关键,这样他们可以时刻记住你们的前进方向。 |
同样,衡量数据架构的成功能够越清晰越好,这样管理层可以更清楚地看到数据架构的价值。在接下来的部分,我将分享一些衡量数据架构价值的具体方法,以便您根据这些方法构建业务案例。
成功的衡量标准
以商业价值和结果来衡量成功需要结合定量和定性指标,以确保数据架构与组织的战略目标保持一致,并带来实际效益。定期监控和调整对于在业务需求变化时保持数据架构的有效性至关重要。理想情况下,这些衡量标准应由数据架构负责人定义,与首席架构师对齐,并得到数据用户、业务数据管理员和技术数据管理员的支持。企业数据委员会应批准既定架构及这些成功衡量标准。
示例指标可以包括以下内容:
-
采用情况:采用新数据服务或预定数据架构组件的用户数量。
-
数据质量:由于新设计解决的数据质量问题数量。
-
需求:新设计满足的数据需求数量。
-
成本:由于新设计节省的复制成本。通过优化数据存储和处理来衡量成本节约。
-
可访问性:衡量用户和应用程序访问所需数据的容易程度,方法是测量从请求到工单关闭的时间。
-
性能:数据处理速度和/或数据检索效率。
-
安全性和合规性:跟踪与安全性和/或隐私法规的合规情况。确保在架构中标识出敏感数据,并且架构能够支持合规要求(例如,不要将敏感数据放在多个地方;作为最佳实践,优先简化并减少存放敏感数据的地点数量)。
-
可扩展性:在不进行重大修改的情况下,利用新数据架构的程序数量。
此外,务必设计衡量成功的指标,以量化商业影响。评估数据架构如何助力实现商业目标和任务。这些指标可能包括增加收入、降低成本、提高客户满意度或其他相关的商业成果。根据你的业务不同,这些指标会有所不同。邀请用户、业务和技术数据负责人一起定义商业影响指标是最佳实践。
虽然这不是一个具体的衡量标准,但你应持续收集用户和利益相关者的反馈,并将其用于随着时间推移改进数据架构。你可能希望建立一些“计划”指标,以展示初步进展,例如指导原则的定义、未来状态的初步草案以及所提供反馈的数量。这将展示参与过程的情况,并且是定义阶段成功的衡量标准。
核心能力
数据架构需要比以往任何时候都更加灵活和动态。公司发展迅速,而生成式 AI(GenAI)的快速兴起就是企业需求不断变化的完美例证。你会注意到,接下来列出的能力并没有具体说明你需要部署哪些技术。这由你和你的利益相关者来决定。以下能力告诉你在数据架构计划中需要定义什么。
建立数据架构计划
理想情况下,数据架构师应该向你的首席数据与分析官报告。在一些组织中,你会看到数据架构职能向首席架构师报告;然而,在大多数情况下,这会导致数据架构师对公司数据战略的目标不够深入了解,进而导致不够友好的数据模型。当你的首席架构师能够很好地理解数据的复杂性并且支持优先考虑数据流动的顺畅时,这种模式是可行的。
不论汇报结构如何,你的公司都应该建立一个正式的数据架构项目。应该定义至少两个层级的数据架构:首先是总体的自上而下的数据架构,定义企业范围内的数据架构,包括原则、目标架构,以及全公司范围的赋能;其次,从更为自下而上的角度出发,数据架构师应该嵌入到各个具体解决方案中,以确保各个解决方案按照公司整体的数据架构项目来设计。这两者都至关重要。我曾见过一些案例,其中自上而下的部分由首席架构师负责,而自下而上的部分则由首席数据与分析办公室负责。在对齐良好的情况下,这种分工是可行的,但当缺乏对齐时,分离的方式将不会奏效。
作为数据架构项目的一部分,数据架构负责人应该为数据架构的定义、设计和实施确立一个“北极星”。在我看到的所有成功的数据项目中,这个“北极星”有三个共同要素:强有力的现状和目标模型、明确的角色与职责,以及强有力的高层支持。
现状与目标建模
现状与目标数据架构是数据管理中的两个关键概念。现状数据架构是组织数据格局的当前状态。它包括用于管理和处理数据的所有数据源、系统和流程。现状数据架构可能非常复杂,尤其是在部门众多、业务单元(BUs)众多的大型组织中。目标数据架构是组织希望实现的未来数据格局。它是组织希望未来如何管理和处理数据的蓝图。目标数据架构通常基于组织的商业目标和战略制定。
首先,记录当前状态。当前的“现状”将帮助企业了解当前的整体数据格局。你可以根据需要创建这张图表的详细程度,但要准备定义一个高层次的视图,便于高管理解,同时也准备好适合架构师和工程师的详细视图。如果你的组织像大多数组织一样,现状可能看起来像一团意大利面。这是因为数据集成通常是在没有考虑数据的情况下加入的,随着时间的推移,变得异常复杂:
图 9.1 – 当前状态架构示例
定义一个未来的数据架构绝非易事,尤其是当组织在历史上并未有意识地设计系统、数据或业务流程时。由于创建一个能满足所有需求的目标状态需要大量的跨部门协调,这一过程可能非常艰巨。这将需要妥协、充分的解释以及时间。
一旦组织开发了未来的数据架构,就可以开始制定计划,从当前状态过渡到未来状态。这可能涉及对现有系统和流程进行更改,或实施新系统和技术。以下是数据架构转型中可能涉及的一些变更示例:
-
整合数据源:当前数据架构可能包含多个不相干的数据源,这可能使得访问和管理数据变得困难。未来的数据架构可能涉及将这些数据源整合到一个单一的数据仓库或数据湖中。
-
实施新的数据处理技术:当前数据架构可能依赖于过时的数据处理技术。未来的数据架构可能涉及实施新的技术,如大数据处理平台和机器学习(ML)算法,以提高数据处理的效率和效果。
-
改善数据治理:当前数据架构可能存在较差的数据治理实践,这可能导致数据质量问题和安全风险。未来的数据架构可能涉及实施新的数据治理政策和流程,以改善数据质量和安全性。
一个目标或未来的架构可能如下所示:
图 9.2 – 目标状态数据架构示例
在这个未来的数据架构中,分析数据与操作数据是分开的。这将使得你的分析团队能够灵活应对业务需求,而不会减慢或影响公司的运营。这是一个我鼓励你们认真考虑的有意图的用例。然而,不要让这成为从简洁性中偏离的第一次。我的猜测是,你们公司会从“仅有”两个数据存储而不是多个存储中受益。大多数组织在开始时,往往拥有数十个,甚至更多的数据存储(有时每个部门都有)。在开始做出更改之前,要认真识别现有数据源及其用途,并明确你们的需求。
构建一个最佳的数据架构能力
在本章的前几节中,我们讨论了什么是数据架构、数据架构的价值以及两个主要阶段:现状和目标。在本节中,我将带您一步步构建成功的最佳能力。成功的关键是:在定义架构时要有目的性和意图。
建立设计原则
首先,您应该定义一套数据架构设计原则。设计原则应当建立起来,以便将所有参与者对齐,集中精力并将设计对齐到一个共同的方法。理想情况下,设计原则将实现以下目标:
-
为混乱增添简单性
-
推动简化思维
-
聚焦讨论
-
确保设计一致性
设计原则应作为设计数据架构过程的基础。将所有参与者与一组核心的、基础的设计原则对齐,将提供一个透镜,以便今后所有设计决策都依据这些原则。设计开始后,回退到既定的设计原则变得困难,因此我鼓励您在开始时就设定这些原则,以避免后期的返工。
数据架构设计原则的示例集合
-
架构设计应能随着不断发展的商业模式进行扩展。
-
商业和数据流程将尽可能自动化。
-
数据将存储供中央使用,并从已建立的授权配置点提供。
-
数据将根据文档化的业务规则进行对账或“主数据化”。
-
用户将能够透明地查看数据质量和数据模型的变化。
制定架构标准
强大的数据架构项目的标志是定义了一套数据架构标准。数据架构标准设定了对架构元素的治理方式预期,以及批准的模型、访问预期、分发模型和基本数据资产控制,并规定了公司信息的使用。这些标准应当定义任何解决方案中对数据的期望。
根据解决方案的规模和复杂性,您可能需要设定参与、批准和审查流程的预期。例如,如果有人进行小的修改(添加列或向现有解决方案中添加表格),只要他们能够证明自己遵循了数据架构标准,可能无需通过正式流程。另一方面,如果部署的是新的 ERP 系统,则应当采取相反的做法。应创建一个端到端设计,记录当前和未来状态,定义消费模式,建立对新定义或创建的数据集的清晰责任和管理等。您应确保标准至少包括以下要求:
-
元数据管理
-
数据质量
-
数据访问
-
数据分发与消费
这些标准应当指导公司如何做出平台选择,如何选择技术和工具,以及跨组织使用什么样的集成模式,确保与先前设定的设计原则一致。业务和技术数据管理人员应积极参与设计数据架构标准,以确保满足他们的需求。记住——这些标准将决定数据架构的演变,并不会一夜之间改变一切。它们应当作为北极星,指引未来所有设计选择的方向。
建立目标状态
在我的职业生涯中,我见过两个成功的项目(到目前为止),它们利用全公司集体架构的力量,在技术和数据投资方面实现了最高水平的优化。这两个项目本可以更加成功。
在这两种情况下,项目成功且毫不妥协地定义了特定的设计原则,从而界定了目标架构;例如,强制性要求全公司范围内使用参考数据,并确保来自单一的真实数据源。这一要求的结果应该会显著提高效率,并便于全公司范围内的数据聚合。然而,实际上,公司对采用要求的态度要“宽松”一些。我们进入变革时,坚定地预期在 24 个月内要求强制采用参考数据,但当我们退出该项目时,这一预期已经放宽,只要求在平台进行“重大”更新时才采用参考数据,这意味着参考数据的真正效益需要几年时间(5 年以上)才能显现。像所有长期项目一样,动力丧失,效益未能早期实现。
在建立目标状态时,至关重要的是利用动力推动变革。这些变革非常昂贵,并且需要明确的关注点来实现期望的投资回报率(ROI)。
与业务架构和 IT 架构的紧密集成
建立强大架构的最佳方法之一是与业务架构、数据架构和 IT 架构紧密集成。大多数公司缺乏强大的业务架构功能。然而,业务架构可以是评估业务运营流程、所需数据以及支持最佳运营的技术的最佳方式。
最佳实践是建立一个架构委员会。这个委员会应包括业务、架构、数据架构和 IT 架构的代表。大多数公司没有专注于将这三类架构专家聚集在一起,因此当涉及到业务、数据或 IT 需求时,它们往往不会被整体考虑。通过将这些职能结合起来,公司可以简化并有效地设计出简洁的解决方案。
大多数公司并未关注业务架构,或者假设它是基本操作的一部分。但事实并非如此。架构委员会可以确保任何架构设计从整体上考虑到三个视角。从自私的角度来看,这可以确保数据架构既能支持最佳的业务流程,又能良好地支持技术。如果这两个相关的架构视角中的任何一个设计得不好,数据架构将不会有效。因此,如果你的公司没有架构委员会,应该为此争取。理想情况下,这个委员会应由首席架构师主持,并包含来自业务、数据架构和 IT 架构的代表。
将数据架构融入系统开发生命周期过程
理想情况下,你将制定一个未来状态和过渡计划,并获得全额资金和支持,以便在几年内过渡。但现实中,这并不常见。根据公司规模、规模和历史决策,现有状态可能非常难以解开。你将是在飞机飞行时修建飞机,这使得这些类型的计划变得极其复杂。因此,更常见的是看到组织将未来设计原则融入到系统开发生命周期(SDLC)中,以便随着时间的推移逐步采纳。
唯一能确保此计划成功,并且能够设定完成/结束日期的方法,是让一位推动者持续口头推动未来状态的业务价值,确保未来状态得到执行,并获得执行团队的支持以促使其实现。这不仅仅是在轻松时遵循,而是在困难时也必须遵循。首席信息官可以是你实现这一目标的强有力倡导者,因为他们通常有权批准或拒绝与程序相关的技术架构。确保获得他们的全力支持,以确保公司采纳软件开发生命周期(SDLC)以实现最佳成功。
为成功搭建数据架构
我相信你已经注意到,我在本章中并没有定义你的数据架构应该是什么。我给你提供了工具、理解和流程,帮助你为数据架构项目的成功奠定基础。技术变化迅速,公司的需求也各不相同。只有你能定义你的公司需要使用什么来构建符合数据和分析需求的最佳架构。我无法告诉你哪种架构适合你的公司;只有你能做出这个决定。
然而,有一些关键因素可以帮助你取得成功。这些因素在大公司和小公司中都是一致的,并能确保你拥有一个成功的项目:
-
任命首席数据架构师:每个公司都应该有一个专人来推动公司内适当的数据架构。虽然你可能不会使用这个头衔,但你应该明确角色定义,并确保这个角色有权做出整体数据架构的决策。
-
定义程序例行工作和节奏:建立关键的项目论坛、报告和价值故事讲述,以确保数据架构项目被视为一个正式的程序。
-
邀请合适的人参与:公司历史学家,他们对公司做出决策的历史有深刻理解,并且拥有前瞻性视角,是此项工作的优秀支持者。他们了解为何做出某些选择以及如果做出改变会带来哪些后果。他们能够在紧迫性和深思熟虑的影响之间取得平衡。包括来自公司各部门的业务架构师、数据架构师和 IT 架构师。
-
获得高层支持:确保你有合适的支持者。通常来说,这个人是首席信息官或首席技术官。确保他们愿意在公司高层为你代言,并能为项目提供长期的资金支持。
-
与首席架构师和首席数据分析官对齐:最终,首席架构师必须理解强大数据架构的重要性,并明白他们需要你推动公司范围的架构成功。你的首席数据分析官也需要为此项工作提供支持。理想情况下,首席架构师和首席数据分析官共同主持这个项目,首席信息官或首席技术官作为执行赞助人。
-
保持长远的思维:你必须记住,这些项目需要时间;它们是长期的,并且需要大量投资。它们不会一夜之间完成。你必须有耐心。
-
进行战略性投资:选择一个高影响、结果较快的窗口来展示投资回报。首先投资于那些较小但能带来影响的部分,待你展示了成果后,再投资更大、更昂贵的组件。不要等到最终结果才展示其价值。
-
嵌入 SDLC 流程:将程序绑定到 SDLC 流程中,以确保你随着时间的推移采用理想状态。
通过任命合适的人选、定义强有力的例行程序和节奏,并遵循严格的优先级排序过程,数据架构可以成为推动你数据和分析职能发展的战略驱动力。这是一个长期的过程。它需要长远的思维以及来自组织高层的持续支持才能成功。作为数据专业人员,你在数据和 IT 架构的成功以及推动简单、优雅解决方案方面将产生重要影响,这将推动公司优化数据。
结论
本章全面概述了数据治理背景下的数据架构。我们探讨了明确的数据架构在确保数据一致性、可访问性和可靠性方面的关键作用——这些都是有效数据治理的核心支柱。我们考察了各种架构设计因素,包括数据组织模型、数据存储解决方案和数据集成策略。你现在应该对以下领域有一个清晰的理解:
-
数据架构的重要性,包括为什么它在构建成功的数据解决方案中是必需的
-
如何设计数据架构功能
-
实施过程中的具体需求
-
如何设计数据架构解决方案
理解这些元素及其与组织特定需求的对齐,对建立稳固的数据基础至关重要。良好设计的数据架构有助于提高数据质量,简化数据管理流程,并支持数据治理工作的顺利进行。在接下来的数据治理旅程中,后续章节将探讨这些概念的实际应用。我们将深入研究数据治理框架、政策和实施策略,帮助你掌握有效治理组织数据的工具和知识。
第十章:主数据管理
任何组织的核心能力之一是标准化其最核心、最关联的数据:主数据和参考数据。通过主数据,数据被多个部门使用且多种用途标准化和清洗,以造福整个组织。我们将从基础开始:什么是主数据?为什么它至关重要?是什么使其如此复杂和难以部署和采用?我们将深入探讨不同类型的数据以及它们与客户数据平台的区别。
我将解释如何优先考虑这种数据治理能力以及如何实施强大而集中的主数据解决方案,这将影响并提升企业数据为战略资产的能力。到目前为止介绍的所有能力将被编织到这一强大的能力中,以将它们紧密联系在一起。
在我们深入讨论之前,请注意使用术语“主数据管理”。
在撰写本文时,“主数据”作为一个术语和能力通常是行业中的突出术语。在“主人”的内在和历史根源中,“主”意味着对来自其他来源的某物的“所有权”。我们已经开始看到其他行业(如房地产列表中的主卧室,现在普遍被称为“主卧室”或“大卧室”)从术语“主”中逐渐移开。我对这个术语有很深的感受,并敦促整个行业改变这一点。我强烈建议我们采用“主要”数据,来指代这种类型的数据。
如果我们不改变它,我们就在选择它。作为一个专业人士,我不希望我们继续接受这种根源于种族主义的对数据类型的“所有权”。我选择将这种类型的数据称为“主要数据”,并敦促您在您的公司中采纳这个术语,以便我们共同改变这个行业。
定义主数据管理
主数据管理是核心数据治理能力,集成了一系列用于创建特定类型数据的单一统一视图的过程和技术。这种能力有助于确保这些特定和关键类型的数据在整个企业中具有一致性、准确性和可访问性。主要数据的示例包括:客户数据、产品数据、供应商数据和联系人数据。由于这些数据类型(客户、产品等)通常由组织中的各个部门创建,它们需要特殊处理以统一和供应,以便整个组织能够对数据拥有相同的视图。没有主数据管理,公司将在整体一致性、准确性和质量方面遇到困难,从而导致客户体验不佳。
示例 – 客户体验
假设您是某大型金融机构的客户,您在某分行开设了支票账户。几个月后,您拨打 1-800 电话,询问有关账户的问题。自从您开设支票账户以来,您还开设了抵押贷款账户并搬进了新家。当您致电客户服务查询支票账户时,客服要求您为安全起见验证您的地址。问题是,您的支票账户上的地址是您以前的地址。
如果没有客户主数据管理,当新产品售给客户时,客户地址不会在企业内得到更新。在这种情况下,您可能需要亲自到当地分行正式更新地址,而不是通过主数据管理能力自动更新。
主数据管理是企业中建立的较为复杂的能力之一,尤其是在大型企业中。然而,一旦完全采用,该能力对您的组织在规模化运营中提高效率的能力具有最重要的影响。建立主数据管理(PDM)能力使您的组织能够:
-
识别和整合。建立 PDM 能力使您的公司能够识别主要数据的来源,将数据整合到单一流程中,然后将数据更好地复制回原始来源,甚至比数据进入该能力时更为准确。这消除了数据孤岛,使整个公司能够基于相同的准确数据集进行工作。
-
清理和丰富。通过将主数据引入中央能力,公司能够通过评估数据质量、修复数据问题以及用第三方数据丰富数据,从而提高数据的质量和可靠性。这个过程去除了不一致、错误和缺失的数据。您还可以向记录中添加额外的数据(例如,人口统计信息、合规标记)。
-
标准化和治理。主数据管理使组织能够通过创建和执行数据质量规则来标准化和治理其主数据,以确保数据一致、准确且可靠。PDM 增强了公司最关键和核心数据的信任度。
-
共享。由于主数据由中央部门管理并在公司范围内提供,PDM 流程使得公司更容易将高质量的主数据共享到需要高度信任数据的其他系统中。这使得组织能够基于统一的数据做出高质量的决策。
在下面关于核心能力的部分中,我们将探讨如何在您的 PDM 部署中启用这些能力,并充分挖掘 PDM 投资的全部价值。
参考数据
参考数据管理是一种标准化数据类型,推动组织内部的一致性。参考数据的示例在各公司之间是相同的,例如:邮政编码、城市名称、行业代码(例如 NAICS 或 SIC),或者可能是某个公司特有的,如会计科目表。无论你的参考数据集是什么,这些代码都被视为一种主数据类型,因为公司遵循主数据的相同特征,包括合并与标准化、中心化增强、去重和简化(意味着数据由中央团队负责,服务于整个组织)。外部派生的参考数据可以通过政府机构(例如邮政编码)或第三方(例如邓白氏)获取。参考数据有许多供应商。
参考数据管理的一个常见业务支持者是财务部门。通常,财务部门是各种因素信息的聚合中心,例如地理位置、行业等,这些都可以通过参考数据的一致性得到改善。参考数据转型通常作为另一项重大转型的一部分出现,通常是企业资源规划(ERP)转型,在此过程中,公司被迫审查所有核心数据,以便运营、财务报告以及提供监管报告。
在我为每家公司部署参考数据时,这个需求通常出现在 ERP 或财务报表设计过程的发布规划阶段。财务团队意识到他们有多个相互冲突的参考数据版本,并需要支持将数据转化为标准模型。这时,数据团队通常会介入。参考数据通常可以相对快速地部署。一旦购买了软件并搭建了基础功能,发布参考数据并不算困难。由于参考数据是缓慢变化的数据,并且变化频率不高,一旦你定义了数据定义、指定了数据管理员,并具备了发布数据的能力,实际上将数据投入生产是一个相对快速的过程(尤其是与其他类型的主数据相比)。
主数据与参考数据
虽然参考数据是一种主要数据类型,但由于参考数据的变化较慢,它通常会单独管理。参考数据之所以称为“慢变”,是因为它不会频繁变化。以行业代码(如 NAICS 代码)为例,虽然有新兴行业,但这些代码通常用于报告或销售规划等,变化不频繁。因此,NAICS 代码每五年更新一次。参考数据还具有有效值数量的有限性。例如,行业代码或区号的数量是有限的。可以通过将参考数据理解为从下拉菜单中选择的内容来更好地理解这一点。它可能是一个非常长的下拉菜单,但仍然是一个下拉菜单。而主要数据(例如客户数据)可能具有无限数量的记录或有效值,并且随着时间的推移不断增加。
主要数据类型
除了参考数据外,还有其他类型的主要数据。主要数据按类型进行管理,每种类型都有独立的管理平台或系统。然而,这些类型中的每一种可能包含一些相关的参考数据。例如,客户数据可能包含客户的邮政编码,该编码可以从参考数据系统中定义的有效值中进行选择。
客户
客户主要数据在面向客户的部门(如销售、营销、收入等)中非常重要。未标准化客户主要数据的公司通常难以全面了解客户。缺乏客户主要数据系统的明显标志是,各部门对同一客户的信息不同,且很难看到公司内的完整客户旅程。销售部门可能对客户(如地址)的信息与收入、运营或营销部门不同。如果出现这种情况,这表明公司从实施和部署客户主要数据系统中可以获得好处,以统一公司内关于客户的信息。
客户数据可以来自多种来源,包括直接来自客户、第三方增值服务、社交媒体服务(如 LinkedIn)、以及营销和活动。联系数据(我们将在下文讨论)也是客户数据的重要来源。您还可以通过订单管理从销售流程中获取客户信息。
客户数据的典型支持部门通常是销售、客户成功或销售运营。由于这些数据主要分布在这些领域中,因此为此能力指定一位执行数据领域负责人通常比其他类型的主数据更加困难。在我看来,这通常取决于组织内的政治力量和资金。无论哪个团队拥有更多的权力、权威和预算,通常就会成为支持方。需要提醒的是:这种支持方相对容易确保客户主数据管理平台主要服务于他们的需求,而不是其他部门的需求。你需要确保这个平台上的数据服务于公司,而不仅仅是某个部门。一个有效的方式来应对这种偏见是利用现有的治理例程和节奏(如企业数据委员会)来规范发布计划并按优先顺序满足业务需求。
当销售和客户服务团队开始看到销售人员、客户服务代表和客户在其体验中表现出较低的质量评分时,客户主数据管理通常成为优先事项。低质量和矛盾的客户数据使得销售人员在处理交易、续签合同以及使用正确的信息与客户互动时感到困难。试想一下,你正准备给客户打电话,但在客户关系管理平台中却没有电话号码。这种情况时常发生。
随着公司发展,数据分布在更多的系统和平台中,保持数据的一致性变得越来越困难。由于客户是公司运作的核心,拥有高质量、可靠的客户信息来支持业务运营变得更加重要。
产品
与客户数据类似,产品数据是集中的、统一的数据,管理产品信息时需要这些数据。产品主数据可能包括产品名称、产品描述、产品特性(例如颜色、重量、尺寸)、制造商、型号、价格和图片等信息。这些信息被销售、运营、供应链管理和收入运营等多个部门使用。
产品主数据可以存储在多个地方,包括企业资源规划(ERP)系统、产品信息系统(PIS)和客户关系管理(CRM)系统。然而,重要的是要拥有一个单一的、集中的产品主数据存储库,以确保所有消费系统中的数据准确性和一致性。
产品数据通常来源于多个地方,包括供应商目录、网站、ERP 系统以及内部生产数据。这也是主数据管理至关重要的原因之一:数据来源于多个位置,在单一位置(主数据平台)进行标准化和丰富,然后推送到需要这些数据的系统。如果没有主数据平台,那么每个单独的系统都需要单独进行这项工作,这将导致成本、复杂性的大幅增加,并且跨系统的一致性差,造成汇总和报告异常困难。
产品数据的典型业务赞助商包括工程或产品管理、法律和合规部门或收入运营。由于产品主数据在公司内具有高度的普遍性,并且根据行业差异较大,因此像客户主数据一样,产品主数据的赞助商相对难以确定。按照上述相同的流程操作客户主数据,使用你的治理委员会来帮助确定赞助商。
供应商[或供应商]
供应商主数据管理(有时称为供应商主数据)是一个专门用于公司采购商品和/或服务的主数据平台。它可能包括关键信息,如供应商名称、地址、公司或行业代码数据、支付条款、使用的货币等。
供应商主数据用于组织内多种功能,包括采购、应付账款、供应链管理,并且也可能被人力资源用于承包商信息。该平台上的数据可能会被 ERP 系统、采购系统和供应商关系管理系统使用。像其他主数据平台一样,供应商主数据有许多潜在的数据来源和许多潜在的消费系统,这推动了信息需要集中管理的需求。
联系人
联系人主数据是公司所有联系人(包括客户、潜在客户(即销售线索)、员工、供应商和合作伙伴)的统一视图。联系人数据包括联系人姓名、地址、电话号码、电子邮件地址和公司隶属关系等信息。联系人主数据通常被公司内多个部门使用,例如销售、市场营销、财务、客户服务和人力资源。联系人主数据的赞助通常由市场营销部门提供,因为他们负责通过联系人获取和创造合格的潜在客户。
联系人主数据用于多种业务流程,包括:
-
潜在客户生成。联系人主数据用于识别和营销潜在客户。
-
销售和市场营销活动。联系人主数据用于创建和执行针对潜在客户的市场营销活动。
-
客户服务。联系人主数据用于提供客户支持和解决客户问题。
-
人力资源。联系人主数据用于管理员工记录和招聘新员工。
-
会计。联系人主数据用于支付费用和供应商。
联系人主数据存储在各种系统中,包括 CRM、ERP 和人力资源系统。数据来源包括各种渠道,如名片、邮件列表、社交媒体、联系人本身、事件注册等。
建立最佳主数据管理能力:成功的核心能力
关于主数据管理,最大的误解之一是围绕什么样的功能使一个平台或系统可以被认为是主数据管理功能,而不仅仅是其他平台。有一些核心功能是主数据管理系统独有的,如果没有这些功能,就无法实现真正的主数据管理。非专家常常用“主”或“主系统”来定义记录系统,或仅仅是定义为该数据类型的‘首选’来源。单凭这一点并不能构成主数据管理。要成为主数据管理系统,必须具备本节中所列的功能,首先是去重。
去重或去重处理
也被称为“匹配与合并”,去重在主数据管理中是识别并合并重复数据记录的过程。如果您的主数据管理平台没有提供这个功能,那么您就没有实现主数据管理。这个功能是主数据管理的关键部分,因为它确保了组织的数据是准确、一致和完整的。重复数据可能由于多种原因而产生,但通常是因为相似的数据被输入到多个系统中,输入错误、在不同系统中更新不同,或来自不同来源(例如,LinkedIn 与事件出席名单)。
去重方法
主数据管理系统有几种方法可以进行去重,从而实现每个客户、产品、供应商或联系人只有一个记录的目标。
-
模糊逻辑。模糊逻辑是一种人工智能技术,用于匹配不完全相同的数据记录。该逻辑能够检测错误,例如拼写错误、缩写和格式不同等。
-
匹配算法。匹配算法通过比较记录,使用姓名、地址、电话号码和电子邮件地址等多种因素来识别可能的重复记录。
-
人工审核。人工审核通常是 PDM 功能中必要的,以确认两个记录是否为重复记录。对于未匹配的记录,需要一定程度的人工审核,具体取决于模糊逻辑或匹配算法的质量,你可能需要较多或较少的人工审核。这通常是决定 PDM 运营团队规模的主要因素,负责审核那些未通过去重方法匹配的潜在重复记录。
你可以通过衡量“未匹配”记录的数量来查看去重过程的效果,意思是,在去重过程开始之前,你开始时有多少记录。这是从源系统进入 PDM 系统的记录数量的总和。对于大型企业,这可能是 1 亿到 2 亿条记录或更多。我们来看一个简单的例子。
图 10.1 – 示例去重过程
在上面的示例中,我们从三个不同的系统中获取数据,每个系统声称拥有客户数据。正如你所看到的,每个系统对客户的记录数量不同。在每个系统中,可能会存在平台内部以及平台之间的重复数据。当我们将数据发送到中间的 PDM 平台时,去重过程会在这里运行(参见上文“去重过程”,这是 PDM 中的众多核心功能之一),该过程会标准化并去重 PDM 所消费的所有记录中的共同记录。
当数据推送到右侧的消费系统时,它们都会接收到更新后的客户记录,已去重并准备好使用。你可以设置数据流,让左侧的源系统也接收到更新后的去重数据,但这取决于你的业务需求。
衡量成功的指标(内部 – 数据团队)
-
降低重复记录的数量(计数)
-
提高数据存储效率
-
存储成本节约
-
节省管理重复或冗余数据的时间
-
提升数据质量
-
客户数量的准确性(改进评分)
衡量成功的指标(外部 – 利益相关者)
-
提高分析的准确性
-
提升客户成功评分(通过呼叫中心代表更容易识别客户,并看到更统一、更准确的客户视图)
-
降低成本(例如,单一位置的丰富服务成本与多个位置相比。通常公司会多次购买相同的丰富服务而没有意识到。)
-
降低营销成本(从营销到有效联系人一次性发送,而不是多次发送,或者避免使用错误的联系信息)
常见定义
建立强大的主数据系统的第一步是让公司达成共识,定义共同的标准。首先,你需要为你的组织定义“客户”的含义。这听起来简单,但实际上相当复杂。
客户数据定义问题
我参与的第一次客户主数据管理部署中,我们花了 18 个月(不是开玩笑!)在公司内外进行合作,定义“客户”是什么。我们在一些定义问题上争论不休,比如是否需要客户是活跃的,或者最近 12 个月有过购买是否足够。什么才算是“活跃”?他们需要购买什么?仅仅有一个账户就足够吗?如果账户没有存款(例如)呢?
在我参与的第二次客户主数据管理部署中,我直接找到了客户数据的数据领域负责人,并向他提出了一个定义。他做了一个小修改,我们共同批准了它,并向相关利益相关者宣布了这个定义。整个过程不到 18 分钟。与我第一次的经历形成了鲜明的对比。
什么是正确的做法?你需要为你的公司做出这个决定。但我建议你利用数据治理例行程序和报告流程,在进入元模型设计之前就将定义固化下来,以减少后续的返工。
你需要设置一个过程,定义每个客户记录的数据属性将如何理顺(其他人可能称这个过程为“主控”或“主控管理”,但像数据类型一样,我倾向于使用一个更具包容性的术语)。对于每个属性,你需要有一个定义,以便在公司内部达成一致,这样当你在报告、系统和数据目录或字典中引用它们时,大家就能有共同的词汇和理解。
黄金数据源归属
你的主数据管理平台将会有一组有限的属性,针对每个记录进行理顺。现在不是将 200 个属性放入主数据平台的时候。请记住,目的是标准化核心属性或你希望在公司内部推动一致性的常见属性。它并不打算成为一个客户数据平台。我们将在本章稍后的内容中更详细地讨论它们之间的差异,但目前要注意,这只是与客户相关的核心数据,而非所有客户相关的数据。
基于我的过往经验,我的目标是理顺不超过 50 个关于客户的核心属性。这个数量对你们公司来说可能看起来很多,也可能不多。这个数字可能迅速增长,尤其是当你开始考虑一些常见属性时,比如:
-
客户唯一 ID 号码
-
名字
-
姓氏
-
送货地址街道第 1 行
-
送货地址街道第 2 行(注意:可能包括公寓号或楼号)
-
送货城市
-
送货地址州
-
送货邮政编码
-
送货国家
-
邮寄地址街道第 1 行
-
邮寄地址街道第 2 行
-
邮寄城市
-
邮寄州
-
邮寄邮政编码
-
邮寄国家
-
国家代码
-
区号
-
电话号码
正如您所见,当您开始包括像运输地址与邮寄地址(+6 个新属性)这类差异时,情况会迅速变得复杂。您的业务模型将推动您所需属性的类型(B2B 还是 B2C)以及行业(例如,性别和/或出生时指定的性别对您的产品是否相关?如果您从事医疗行业,可能是相关的,但如果您从事技术销售,这可能就不那么相关了)。
对于这些属性中的每一项,您需要定义每个属性背后的含义。我还建议您在程序中此时明确每个属性的数据管理者是谁,可能会有所不同。例如,销售中的客户名字、客户姓氏和邮寄地址属性可能由一位数据管理者负责,但您的运输属性可能来自履行或收入运营团队。每个属性应该指派一个数据管理者,负责和关心这些数据。
层级结构
层级结构是主要数据背后的基础能力之一。主要数据的独特功能之一是能够提供多层级管理,跨公司进行管理。多层级管理是指能够应用多种方式来汇总相同的基础数据,这些数据已被标准化(或合理化)以满足独特的业务需求。客户数据的常见层级包括:
-
法律实体层级
-
销售层级
-
账户层级
-
位置层级
-
组织层级
层级结构还需要业务数据管理员和技术数据管理员。业务数据管理员应该定义层级的含义是什么,以及层级的规则是什么。有些可以由第三方定义(例如,法律实体),而其他则由业务定义并且是每个公司独特的(例如,销售层级——即公司如何划分客户进入不同的销售区域)。
组织可以拥有无限数量的层级,但我建议您部署和管理最少数量的层级。鉴于业务的快速变化和所需的调整,它们可能相当复杂。如果您的公司采用季度销售周期,他们可能会每季度划分一次销售区域,因此,您的销售层级可能会像季度一样频繁变化。
记住
PDM 的目标是为您的组织标准化常用数据,因此,如果您部署一个层级类型的多个版本,您就违反了主要数据管理的核心原则:标准化。
信任逻辑
对于每个你构建的主数据管理平台,你将定义信任逻辑。信任逻辑是用于确定主数据可信度的规则和流程。它对于数据模型的成功至关重要,因为它定义了你的数据如何整合,以推动准确性、一致性和可靠性。每家公司都有独特的方式来定义这个信任逻辑,最终的模型应该申请专利,因为它具有专有性质。特别是当使用了独特的技术时,你应该考虑保护这个模型。
在定义你的信任逻辑时,你需要查看你所识别的源系统中的原始数据。例如,假设你已经识别出公司内仅有的两个数据源,这些源将为你的客户主数据管理平台提供数据。你查看系统 1,看到的数据可能是这样的:
表 10.1 – 源数据:系统 1
系统 2 中的相同数据可能是这样的:
表 10.2 – 源数据:系统 2
我们在这两个系统之间也存在标准化问题:
-
Mary 和 Meredith 在客户的名字上不一致。我们如何知道哪个是正确的名字?这两者是同一个人吗?还是两个人住在同一地址?
-
第二个客户在任何系统中都没有邮政编码。我们将如何找到这个信息?
-
系统 2 只有一个地址行,因此公寓号被附加到邮寄地址字段中,而不是像系统 1 中那样放在第二个字段里。
现在,如果这些是我们唯一的两个客户,我们可能可以逐一联系并验证他们的准确信息,手动更正这些数据。如果你有一千个客户呢?如果你有一百万个客户呢?1.5 亿个客户呢?手动更正数据已经无法扩展。这就是为什么我们需要自动化的主数据管理能力,帮助我们提高核心数据的质量和可靠性,并能满足我们业务的速度和规模。
我们定义信任逻辑的第一步是确定我们将使用哪个系统作为每个属性的来源。每个属性可以独立于其他属性进行定义。为了说明这个例子,我将使用两种不同的灰色来描绘下表中的数据差异,展示我们在这个例子中如何获取数据。记住,你可能有数千行或数百万行数据,而我的示例中只有两条记录。
表 10.3 – 每个属性来源的示意图
在这个示例中,名字属性和姓氏属性来自系统 2,而其余五个字段来自系统 1。为什么?简而言之——这取决于你。通常,会对各个系统的数据质量进行评估,以决定哪个系统的数据质量更高。
信任逻辑的另一个因素是,当第一个选定的系统提供空值或空白时,您还可以定义使用次级系统。例如,如果系统 2 的名字字段为空,您可以配置信任逻辑,首先从系统 2 拉取名字数据,如果为空,再从系统 1 拉取名字数据。您可以为每个属性定义 1:M 数据源,并定义希望从哪个顺序拉取数据。这种独特的信任逻辑是针对您组织的特定需求设计的。
注意事项
在构建信任逻辑时需要考虑许多因素。为了确定哪些来源先被信任,哪些后被信任,应该考虑以下因素:
-
来源系统。如果提供数据的系统比其他系统具有更高的完整性,您可能会考虑优先从更具完整性的系统中获取数据。
-
数据的年龄。较旧的数据往往不如较新的数据可信,因为它更可能过时或不准确。
-
完整性。不完整的数据可能比完整的数据集更不可信。您可能需要考虑某个来源是否具有更完整的信息。
-
一致性。与其他数据更一致的数据更可能是可信的。
-
变化。变化频繁的数据比稳定的数据更不可信。
-
数据是如何收集的。例如,如果数据是通过手动的注册表收集的,而不是数字化收集的,数字数据在大多数情况下更可能是准确的。
它是如何工作的?
信任逻辑可以用于为每个数据属性按来源系统分配信任分数。然后,可以使用该分数来确定数据在去重过程中的使用方式,以及该属性的可信度。信任逻辑还可以用于自动化数据质量流程。该逻辑可以自动识别在进入主数据管理去重流程之前不准确的数据。这有助于提高主数据的整体质量,使其更可靠。
集成
在创建主数据管理平台时,定义目标架构(即使是概念性的)时的早期步骤之一是确定所需的集成。我通常从左到右考虑这个问题(左侧是输入集成,右侧是输出集成)。集成不再是那么简单。许多将从图表左侧进入平台的系统,也将接收输出。这被称为双向集成。之所以是双向集成,是因为进入主数据管理平台的数据经过标准化、去重、增强后,再被推回到源系统。
图 10.2 – 集成模型示例
第三方质量增强
第三方增强服务是从外部机构购买的数据文件。使用第三方增强服务的目的是提高你公司内部数据的质量。
回到我们的示例,在客户主数据平台的第二条记录中,Meredith Long 的邮政编码缺失。可以使用第三方地址增强服务来提升客户主数据管理平台中的地址质量。结果输出可能如下所示:
表 10.4 – 丰富地址的示例
在这个例子中,增强服务能够为第二条记录提供正确的邮政编码。同样,记住可以通过简单的搜索来填充一个缺失的字段,但当你在大型企业规模上运作时,这些服务替代了成千上万小时的人工数据质量清理,通过使用第三方增强服务来提高数据质量。
在构建客户和联系人主数据的过程中,你可能会订阅数十种第三方数据增强服务,以确保拥有尽可能高质量的数据。每种服务都有其优缺点,因此在使用每种数据增强服务之前要明确你希望实现的目标。它们可能会相互矛盾。确保你有明确的流程来评估数据增强服务的质量,哪些服务你会优先信任,以及它们如何融入到你的匹配和合并流程中。
消费模型
作为主数据管理计划的一部分,你需要定义如何指导用户消费数据。由于主数据的特殊性,防止低质量数据进入你的 PDM 平台至关重要。因此,提供一个标准化的消费模式将帮助你的用户在不影响平台的情况下获取他们所需的数据。
通常,你需要同时满足操作性和分析性用户的需求。这意味着你需要定义这些用户类型的需求,并支持两者的消费模型。例如,在操作性用例中,你可能需要考虑像《萨班斯-奥克斯利法案》这样的监管报告要求,但在分析性用途上,你可能能够支持一个更为宽松和灵活的控制框架,这样可以更快速、无缝地处理数据以支持分析。
你很可能会将主数据推送到数据湖和/或数据仓库中以支持分析,同时将数据推送到你的 ERP 和 CRM 中以满足操作需求。你也可以提供一个发布/订阅(pub/sub)选项,以便在你的生态系统中分发数据。
我建议根据公司需求定义消费模型,并强制执行一项政策和技术流程,确保数据不再被进一步提供,以保持数据的技术完整性。如果不执行严格的消费模型,你就有可能重新创造你本来要解决的问题:企业中主要数据的不一致性。
CRM 与 PDM
技术人员和业务用户常常混淆这两种平台。为澄清一些误解:这两个平台并不相互竞争。恰恰相反,它们互相支持。可以把 CRM 和 PDM 想象成人体的心脏和肺脏。两者都必不可少,都需要良好运作以确保最佳健康。CRM 和 PDM 也一样,它们是相互优化的。
什么是 CRM?
客户关系管理平台或 CRM 平台是一个使销售人员、客户服务团队和营销人员能够看到客户 360 度视图的系统。CRM 帮助公司跟踪客户互动,管理销售,提供客户支持,并自动化营销活动。CRM 帮助企业提高客户满意度、增加销售、降低成本、改善运营并做出更好的业务决策。
虽然 CRM 确实包含了通常在客户主数据管理平台中发现的大部分数据属性,但 CRM 并不是为了促进数据的丰富化和重用而设计的,也通常没有在整个公司用例中促进数据丰富性和重用性的治理方式。CRM 往往偏重于销售周期,而不是法规或风险报告、分析或收入运营。
根据 Gartner 的说法,“避免使用 MDM 的 CRM 领导者将得出错误的结果,这会让客户感到烦恼,导致潜在收入减少 25%”[1]。
关键区别
CRM 和 PDM 平台之间存在一些简单而深刻的区别。CRM 系统可用于识别和优先排序潜在客户,而 PDM 系统则用于确保潜在客户信息的准确性和完整性。CRM 将用于跟踪客户互动和购买情况,而 PDM 将用于创建客户信息的单一视图。PDM 平台将用于创建和管理层次结构,而 CRM 系统则会利用这些层次结构,从层次信息中创建更具针对性的营销活动和产品推荐。
特征 | CRM | PDM |
---|---|---|
主要目的 | 管理客户互动和关系,支持销售、市场营销和客户成功/支持。 | 管理主数据 |
核心数据 | 客户联系信息、销售潜在客户、客户支持工单。 | 客户数据、产品数据、供应商数据、员工数据。 |
主要特征 | 联系人管理、潜在客户管理、销售管道管理、客户支持、营销自动化 | 数据去重、数据增强、数据质量管理、层次结构管理 |
典型用户 | 客户执行人员/销售领导、市场团队、客户服务代表 | IT 团队、数据治理团队、商业智能团队 |
表格 10.5 - CRM 平台与 PDM 平台的区别
两个平台对组织都有价值,但它们服务不同的用户,具有不同的功能。两个平台一起使用时,效果更佳。
主数据管理的价值
主数据管理最难解决的挑战之一并不是平台的部署或复杂的集成,而是构建业务案例,包括清晰阐明主数据管理投资的价值。由于任何主数据管理平台的复杂性(无论是客户、联系人、供应商等)、数据源的数量以及采用情况的差异,业务相关方可能很难理解如此巨大的财务投资将如何带来商业成果。
大多数 PDM 投资会失败,当业务价值未能在项目初期清晰地记录下来时。在一些更具挑战性的实施中,公司未能理解投资价值的原因在于,业务案例主要是从技术角度出发,而非从业务角度出发。虽然从纯 IT 角度投资 PDM 有充分的理由(仅效率这一因素就很有说服力),但由于成本相较于其他投资通常较高,业务用户往往难以理解为何它是优先事项,因此 PDM 往往会在投资优先级清单中被推后。
相反,当一个强有力且清晰的业务价值故事被构建出来时,我看到 PDM 投资会跃升为优先投资清单的最顶部。我的建议是:在推进之前,花时间彻底阐明业务价值故事。业务案例的力量将帮助你在实施的漫长过程中,直至数据被采纳到最终系统中。
构建业务案例
在编写业务案例时,我建议与数据的使用者(你的相关方)密切合作,定义通过交付强大的主数据管理解决方案所期望的业务目标和成果。首先,定义一个强有力的目标声明,以支持项目的发展。
例如,您可能想说如下内容:
“我们的主数据管理计划将提供基础和根本的数据管理能力,帮助公司转型,并在员工、客户和合作伙伴需要时,为他们提供高度可靠和值得信赖的信息。”
很难反驳这样一个目的声明。大多数利益相关者都会同意,但也会挑战你更具体。这时候你的目标就显得尤为重要。你应该为 PDM 项目定义 3-5 个核心目标,这些将是你为利益相关者交付的核心内容。以下是一些示例:
-
建立明确统一的定义,并实施统一的客户数据模型,确保高质量和丰富的客户数据适用于企业范围的使用。
-
创建一个客户的单一统一视图,包括每个客户的唯一标识符、最细粒度的黄金源归属,并采用多层次管理以支持销售、营销、客户支持和收入运营的需求,确保一致性和可信度。
-
建立产品的统一视图,包括唯一标识符、黄金源归属和层级关系管理,以支持产品系列、销售和基于属性的定价。
项目范围说明
你应该非常明确地区分什么是项目中的内容(将交付的部分)与什么是项目后期的日常业务工作(BAU)。例如,通常将主要数据管理平台发布的数据采用作为项目的初步内容,但不会涉及公司所有系统,且不会永远进行。公司倾向于定期部署新技术,如果你让 PDM 项目持续运行以支持无期限,项目将永远无法完成。我建议在项目内进行前几个或关键系统的采用,一旦你证明了推动数据采纳(即,数据消费)到目标系统的有效方法,你就可以完成项目并将其余工作推入 BAU。
能力声明
在构建项目时,你应当明确告知利益相关者你将部署的具体能力。以下是你可能想使用的一些核心能力声明示例:
-
黄金客户记录与唯一 ID
-
单一数据源
-
唯一客户标识符的分配
-
客户标准化与准确性验证
-
验证过的血统透明性
-
客户状态(当前、曾用)
-
客户维护、工作流与管理
-
客户查找搜索功能
-
添加、更新、删除客户
-
第三方数据丰富
-
多层次管理
-
搜索并分类客户关系(即客户、合作伙伴)
-
添加、更新、删除关系
-
管理层次结构
-
客户分类、细分与丰富
-
第三方丰富服务(如:D&B,Lead Space)
-
地址丰富服务
-
行业垂直分配、分组与分类
-
销售和支持服务的地理位置、区域和地点
-
税务 ID、GULT、DUNS、NAICS 分配
概念架构
概念性架构通常定义了围绕主数据管理(PDM)环境的生态系统将如何呈现。这使得你可以为业务和技术利益相关者提供关于 PDM 部署时生态系统如何运作和交互的视角。
图 10.3 – 概念性 PDM 架构
定向目标与具体成功衡量标准
在定义项目目标时,对于每个目标,你应该定义一个具体的衡量标准和预期结果来支持该目标。
-
提高销售和营销效率:当联系人主数据准确且最新时,可以更有效地创建和执行针对性的销售和营销活动。
-
改善客户服务:当客户服务代表能够访问准确和完整的联系信息时,可以为客户提供更好的支持。
-
每个客户在 PDM 平台上都有一个唯一的标识符,这使得客户和服务代表都能够确保为正确的客户提供服务。
-
降低成本:通过消除重复联系信息,组织可以节省营销成本,并将营销活动定位到正确的受众。
-
改善潜在客户转化为销售的效果。衡量在实施 PDM 前和最终部署后潜在客户转化的情况。
-
合格潜在客户的数量。
-
拥有有效电子邮件地址的潜在客户数量。
-
更好的商业决策:组织可以通过访问客户基础的洞察(例如客户人口统计和购买历史)来做出更好的商业决策。
-
每个客户记录将具有有效的联系信息,并经过第三方数据增强服务验证,从而提高客户数据质量(在此示例中,请确保在实施 PDM 平台之前对数据质量进行基准测试,并在每次发布时再次测试,以显示测量到的提升)。
-
自动化的客户分群支持销售规划过程。衡量在 PDM 实施前后的手动干预/时间消耗量。
PDM 的业务收益
在我们结束这个话题之前,我想给你留下一个非常具体的利益相关者、业务收益和关键绩效指标(KPI)清单,作为你商业案例的起点。你应该始终根据自己的公司来定制这个清单,但我希望你能从这个清单中找到价值,作为定义你 PDM 投资价值的起点。因为这些投资通常是数百万美元,涉及重构业务流程、实施新系统以及推动新的结果,它们很难在业务层面推动。但是,凭借明确的业务收益、投资回报率(ROI)声明和成功衡量标准(KPI),我相信你将能够在组织内启动这一能力。
利益相关者群体 | 业务收益 |
---|---|
营销 |
-
潜在客户质量的提升。
-
提高基于账户的细分和营销效率。
-
提高了联系人与账户关联的质量。
-
增强衡量营销线索投资回报率的能力。
|
销售 |
---|
-
降低了销售/账户规划的维护成本。
-
降低销售/账户规划中的劳动力成本。
-
提升销售/账户规划的自动化程度。
-
基于更高质量的客户和账户数据,改进销售预测。
-
由于预测数据的可靠性提高,提升了销售佣金的准确性。
-
降低账户扩展,提升账户可见性,减少了错失的销售机会。
-
提升了客户数据的质量。
-
提升联系人数据的质量,导致客户参与度的提高。
|
财务 |
---|
-
准确的客户数量(用于内部和外部报告)。
-
由于账户完成度和订单与客户唯一 ID 映射的改进,提升了收入报告的准确性。
|
操作 |
---|
-
通过更好的账户数据卫生和准确性、持续报告,提升了运营效率。
-
提高跨职能报告的质量,导致更多依赖自动化报告并简化决策过程。
|
交易管理 |
---|
-
通过简化平台之间的客户数据,减少了交易周期中的人工干预,提升了交易速度。
-
降低配置、定价和报价交易的成本。
|
法务/合规 |
---|
-
由于配置“不允许销售”的单一标识,提高了合规性严格性。
-
减少法律部门在交易中的手动干预和咨询。
-
由于自动化和客户信息的可靠性,减少了法律成本。
|
客户成功/支持 |
---|
-
由于客户数据的改进、客户信息追踪的便捷性以及通过 PDM 到 CRM 的客户互动数据质量的提升,提升了客户满意度。
-
提升客户数据质量,使得机会数据能够更快速地在近实时中呈现给支持代表。
|
表 10.6 - PDM 的商业利益
在开始 PDM 旅程时,我希望你已经从本章中获得了足够的知识,能够构建一个高质量的商业案例,解释 PDM 的价值,了解 PDM 的类型,为什么消费模式很重要,以及 PDM 如何成为任何 CRM 的有力补充能力。
结论
部署 PDM 不仅仅是提升客户、产品、供应商或员工数据质量的方式,更是通过简化流程提升全公司效率和效果的一种手段。PDM 是数据治理为公司提供的最强大、最具潜力的能力之一。
正如我们在本章中讨论的,要在你的组织中成功启动 PDM 能力,需要四个关键技能:
-
PDM 的重要性,包括为什么它是构建成功数据解决方案的必备条件。
-
如何设计 PDM 功能。
-
在实施过程中需要的具体需求。
-
如何设计 PDM 解决方案。
现在我们已经讲解了元数据管理的重要性(包括业务和技术方面)以及数据质量和主数据管理,接下来的主题——数据操作,将讨论如何轻松且大规模地操作这些能力。
参考文献
- Gartner. 主数据管理对客户关系管理优化至关重要。Gartner 公司,2015 年 6 月 8 日更新。
第十一章:数据运营
数据治理中一个较少关注的领域——数据运营,通常被忽视在对话之外。所有公司都有某种专注于数据的运营职能,但它们通常对领导者而言是不可见的。数据运营团队通常被埋没在可视化团队或治理职能后面,几乎不为公司所知。那么,它们到底是什么?数据运营团队为公司提供了什么?
本章将深入探讨这个话题。虽然我之前提到过数据治理往往被低估,但我想澄清的是,虽然这个说法是对的,我也认为数据专业人员在很大程度上应该为这种低价值感负部分责任。在本章中,我们将探讨你可以做些什么,帮助聚焦数据运营为你的组织带来的价值,并展示你如何向接触的高层展示可衡量的价值。
例子
想象一下:你是一个销售主管,现在是关键时刻。季度的最后一天,你有一个大单子需要签署。你已经从客户那里得到口头承诺,现在只需要把最终的订单发给他们处理,这样这笔交易就能算入这个季度的账目。但有一个问题。
交易 卡住了。
在交易流程的某个环节,从报价流程到订单管理流程之间,数据停滞不前。时间越来越紧迫。你的客户准备签约,但你没有订单让他们签名。这笔交易意味着你能够完成季度销售目标,而如果没有这笔交易,嗯,意味着你将勉强错过目标。
那现在怎么办? 你该怎么做?
很可能,你擦了擦额头上的汗水,开始拨打电话。常见的联系对象包括 CIO、CDO,甚至可能是最高层。在这些时间紧迫的时刻,销售团队直接联系高层并不罕见。然而,其实有一种更好的方法:联系你的数据运营团队。他们可以在这样的时刻帮助你。
我举这个例子是因为它非常真实。我在多个组织中看到过相同的情况:一些组织能够轻松地完成类似的交易,取得巨大成功。其他组织则没有那么幸运。那么它们之间的区别是什么呢?一个强大的数据运营团队。
我们将涵盖以下主要话题:
-
定义数据运营
-
数据运营能力
-
数据运营的价值
-
构建一个最佳的数据运营能力并为成功奠定基础
定义数据运营
在数据组织中,数据操作往往得不到足够的重视。我将数据操作比作电力:可能直到没有它,你才会意识到它的重要性。数据操作团队通常是公司内部保持一切运转的粘合剂,依据公司运营方式的不同,团队的规模和规模可能差异巨大。数据操作(DataOps)通常是一套实践、流程和技术,利用自动化和手动流程,提供对数据的集成和集中的视角,以提高数据质量、速度和跨组织的协作。数据操作是一个不断发展的领域,既包括从业者的视角,也有众多供应商的涌入。由于公司越来越依赖数据做出决策和执行日常运营,数据操作正成为一个更为重要的学科,并获得更多的关注。
数据操作通常处于组织内各项能力的核心,是维持一切协同运作的粘合剂:
图 11.1 – 数据操作作为数据治理的核心
数据操作与 IT 操作的区别
数据操作与传统 IT 操作之间存在一些共性。两者都负责公司运营的整体健康;然而,传统 IT 操作通常专注于以下活动:
-
监控 IT 系统
-
维护 IT 流程
-
实施 IT 系统
-
升级 IT 系统
-
确保持续的数据安全和合规性得到维护
在许多方面,数据操作和 IT 操作并没有太大区别,只是将“IT”替换为“数据”:
-
监控数据质量
-
维护数据处理
-
实施数据解决方案
-
升级数据处理流程和解决方案
-
确保持续的数据分类和合规性
目标和任务稍有不同,但总体上,这两个操作组都支持公司持续的运行。IT 操作的主要目标是确保 IT 系统的可靠性、安全性和高效性,而数据操作的主要目标是使数据更加易于访问、使用和价值化。
数据操作偶尔是数据工程团队的一部分,负责构建和维护数据管道。数据工程师通常是为支持组织内数据操作功能而雇佣的专业人才。关键的区别在于,数据操作团队更常被引入来修复和提供运营支持,而不是构建新功能,而数据工程团队则更多专注于构建。
IT 与数据操作的合作伙伴关系
IT 和数据运维团队的协作越来越多。确保这两个团队在角色和责任上的对齐非常重要,以避免对哪个团队负责哪些任务产生混淆。然而,当 IT 和数据运维相互支持时,公司的结果和无缝体验将变得非常流畅和高效。
通过协作,这两个职能部门可以打破信息孤岛,改善数据从源头到洞察的整体流动。在许多情况下,业务领导者会要求某项任务在组织中“更快”地推进,但他们并未意识到这需要 IT 和数据团队的共同努力。要有效推进,IT 和数据团队必须共同合作,为业务领导者提供愉快的体验。当团队合作时,可以设计一种交互模型,确保实现以下结果:
-
数据团队与业务部门会面,了解业务需求并定义成功标准。
-
数据团队和 IT 团队共同定义业务和功能需求,并明确谁将负责交付这些需求。
-
IT 运维可以为数据运维团队提供构建适当数据管道所需的基础设施和资源。
-
数据运维可以为 IT 运维提供数据洞察,帮助识别是否存在来自 IT 运维的问题。
-
两个团队可以在治理和安全方面进行合作,以确保业务领导者的解决方案在设计时就已内置治理和安全,顺利迁移到生产环境中。
我曾看到这两个职能的界限模糊,甚至在某些情况下被合并。不幸的是,当这种情况发生时,IT 运维通常会被其主要工作(即 IT 运维)分散注意力,而数据需求往往在 IT 系统的运作中处于次要地位。我强烈建议保持这两个职能的分离,以便在服务数据方面实现流畅性。
有用提示 |
---|
当你有一个强大的数据运维团队时,一个很大的好处是事后回顾。考虑到数据运维团队应当使用工单系统工作,你可以获得有关数据运维团队关注焦点的宝贵数据。关于数据运维团队如何分配时间的信息是极其宝贵的:问题系统、事件频率、错误来源和常见问题类型。从这些数据中,你可以识别出推动转型和长期可持续修复的机会。 |
数据运维能力
数据运营团队在帮助组织有效管理和利用其数据资产方面发挥关键作用。他们提供一系列数据能力,支持数据驱动决策,并增强整体业务运营。数据运营团队通常由具有对各种系统广泛理解的个人组成,深谙各种计算机语言,并能在问题出现时快速响应。
有用的提示 |
---|
为您的数据运营团队聘请一位能在压力下工作良好、能在高管面前进行有效演示并能激励团队成员快速高效执行的领导者。您的数据运营领导对整个数据项目的成功至关重要。 |
数据运营团队负责广泛的能力,可能包括“根据指定的其他职责”,考虑到他们的访问级别和广泛的技能集。由于他们需要广泛的访问权限以便在问题出现时进行修复,因此需要强大的审计日志记录来追溯步骤,并采用强大的检测控制措施来查看完成了哪些工作。信任并非控制措施,因此在处理他们的广泛访问时需谨慎。
数据运营团队提供的关键数据能力包括以下内容:
-
数据集成:数据运营团队促进来自各种源头的数据,包括结构化、半结构化和非结构化数据的无缝集成。他们采用数据集成工具和技术来协调数据格式,消除不一致性,创建统一的数据景观。
-
数据质量管理:数据运营团队确保数据在整个生命周期内的准确性、一致性和完整性。他们实施数据质量监控和修复流程,以识别和纠正数据错误,确保数据驱动洞察的可靠性,如数据质量团队定义的那样。数据运营团队通常作为技术支持,按照数据质量团队设计的要求将数据质量规则配置到数据处理过程中。
-
数据仓库和数据湖:数据运营团队建立和管理数据仓库和数据湖,这些存储库存储和组织大量用于分析目的的数据。他们设计和实施数据存储解决方案,以满足特定的业务需求,并支持各种数据分析工作负载。
-
数据管道:数据运营团队构建和维护数据管道,这些管道自动化地从源系统到目标位置传输、转换和加载数据的路径。他们优化数据管道以提高效率,确保及时可靠地为分析和报告提供数据交付。
-
数据访问与自助服务:数据操作团队使自助数据访问成为可能,赋能业务用户在不需要 IT 部门持续干预的情况下探索和分析数据。它们实施用户友好的数据访问工具和门户,促进组织内的数据驱动文化。
-
数据治理与安全:数据操作团队执行由数据治理团队定义的数据治理政策和程序,以确保数据资产的适当管理、保护和合规性。它们实施数据安全措施来保护敏感信息并减少数据泄露风险。
-
数据实验与原型设计:数据操作团队通过提供数据沙箱和敏捷开发环境来支持数据实验与原型设计。它们促进了新数据驱动项目的探索,并支持数据驱动解决方案的快速迭代。
-
数据可视化与分析支持:数据操作团队与数据科学家和分析师合作,提供具有洞察力的可视化和报告,帮助有效地将数据驱动的见解传达给利益相关者。它们可能会为数据分析团队策划数据集,供其进行分析和可视化使用。需要说明的是:数据操作团队并不创建可视化或分析报告,而是专注于策划数据,以便分析团队能够执行 其职能。
-
持续改进与监控:数据操作团队采用持续改进方法论来识别瓶颈、优化流程并增强数据能力。它们实施数据监控工具来跟踪绩效指标,并确保数据操作的持续有效性。
-
变更管理与版本控制:数据操作团队实施变更管理实践和版本控制系统(VCS)来管理数据管道、基础设施和数据模型的变更。它们确保变更是可控且可追踪的,从而最小化干扰并保持数据完整性。
图 11.2 – 示例数据生态系统
从整体上看,数据生态系统的集体能力是生态系统中各部分的粘合剂。数据架构设计了生态系统,IT 部门实现了系统,而数据操作团队则确保数据在生态系统中准确且可信地流动。它们与公司各个部门(数据治理、IT 和业务部门)保持连接,确保信息用户在需要时能够获得所需的内容。总之,数据操作团队提供了一套全面的数据能力,使组织能够最大化地利用其数据资产。通过有效管理和利用数据,组织可以获得竞争优势,做出明智的决策,并实现战略目标。
数据操作的价值
数据操作的价值在于它能够简化和优化数据在组织内部的收集、处理和利用方式。简而言之:简化。与数据架构(第九章)类似,操作越简化和流畅,发生故障、错误和业务影响的机会就越少。原则上,当数据操作从简化的角度设计时,其价值更容易理解,解决问题的时间通常也会更短。花费的时间较少在于排查根本原因(问题发生的地方更少)和爆炸半径(问题的影响)。
在评估全面且高效的数据操作的价值时,有许多附加价值,但这些是我建议在你的数据操作功能中突出展示的关键领域(无论是构建一个,还是单纯讲述其价值)。以下是其价值的一些关键方面:
-
提高数据质量和准确性:数据操作实践确保数据始终准确可靠。通过实施强有力的数据验证和清洗流程,组织能够减少错误并提高数据的整体质量。虽然数据质量团队会设定期望、要求等,但数据操作团队将被雇佣来实施流程,以直接清洗和优化数据的质量。
-
增强的协作与敏捷性:数据操作促进了数据科学家、工程师和业务分析师之间的协作。由于数据操作专业人员跨团队工作,创造解决方案并解决问题,团队能够推动跨团队的团结,以更快地解决问题。这种协作方法使得团队能够更加敏捷地应对不断变化的业务需求和数据要求。
-
提高效率和生产力:数据流程的自动化减少了人工努力,加快了与数据相关的工作流程。这种效率提高了生产力,使得团队能够将更多精力集中在更具战略性的任务上,而不是日常的数据管理上。你的数据操作团队非常适合识别自动化的机会。我曾看到数据操作团队充当自动化寻求者,寻找所有的选项,并创建待处理的任务列表,逐步解决。
有用提示 |
---|
这是展示数据操作团队价值的绝佳方式——通过累积识别并自动化跨组织的数据流程和能力所节省的小时数。大多数公司都会惊讶于这种价值是如何迅速积累的。 |
更好的决策制定:通过高质量、及时且相关的数据,组织可以做出更明智的决策。有效的数据操作确保决策者能够在正确的时间访问到正确的数据。由于数据操作在识别自动化和简化机会方面独具优势,并能够迅速部署这些机会,因此它们可以加快洞察的速度,使决策能够更快地发生,达到业务所需的速度。
可扩展性和灵活性:数据操作实践旨在与组织一起扩展。随着数据量和复杂性的增长,数据操作策略有助于有效管理这些增长。通过出色的监控,数据操作专业人员可以识别出哪些系统和数据流管道受到压力,并能够主动提出和部署解决方案。
风险缓解:通过数据操作的适当管理,减少与数据泄露、合规性问题和操作低效相关的风险。它通过确保数据保护控制在整个数据生态系统中的一致应用,确保数据安全并遵守通用数据保护条例(GDPR)和健康保险携带与责任法案(HIPAA)等法规。
提升客户体验:通过更好地理解客户数据和行为,数据操作可以帮助组织量身定制其产品和服务,更好地满足客户需求,从而增强客户体验。这可以通过数据操作团队在数据管道中实施的数据可观测性指标来实现。
当你的数据操作团队从本章中概述的活动中创造价值时,我建议持续记录通过你的数据操作团队为组织带来的价值。它不需要过于复杂,但你需要提前决定如何衡量价值。我最喜欢的衡量方式有以下几种:
-
节省/避免的资金
-
节省的时间
-
缓解的风险(计数或总成本)
-
实施的自动化
一个简单的四列仪表板可以极大地展示你的数据操作价值。此外,你还可以通过标记每一类别的变化类型,添加趋势来展示最大的影响来源。一个示例草图可能如下所示:
图 11.3 – 数据操作价值流仪表板示例
总结来说,数据操作通过确保高质量、可访问和安全的数据、促进协作文化以及使决策更加高效来带来显著的价值,但你必须清晰透明地捕捉这些价值,以帮助团队的投资回报率(ROI)在组织中可见。
数据治理中的无名英雄
正如我之前提到的,数据操作在组织中常常被忽视,原因有很多。如果你正在努力教育你的赞助人,或者可能是你的 CFO 来为这样一个项目提供资金,你可能需要用这些观点来解释为什么这个职能不总是被视为增值项,帮助他们做出决策,并消除关于“操作”团队的误解:
-
缺乏意识:许多组织并未完全意识到数据操作的概念及其潜在的好处。如果没有这种理解,他们可能不会优先考虑其实施和/或资金支持。
-
传统思维模式:一些组织深陷于传统的数据处理方式,并且可能对采纳新方法持抵触态度。从封闭和层级化结构转向更具协作性和敏捷性的方法,对于那些习惯了传统方式的人来说可能是一个挑战。我建议将数据操作职能比作一个数据特种部队。他们能够随时迅速介入,解决优先级较高的数据问题。然后,他们可以回去彻底解决长期的方案,但没有其他团队具备在“老旧方式”下解决数据问题并同时满足当今快速变化的商业环境速度的能力。
-
复杂性和资源限制:实施数据操作可能非常复杂,需要数据科学、工程和商业分析等多方面的技能组合。组织可能缺乏有效实施数据操作实践所需的资源或专业知识。在这一点上,确保高层的理解尤为重要。展示这种职能的价值很关键,这也是前面展示的仪表板发挥作用的地方。使其透明且所有人都能轻松访问。同时也要维护后端数据,以便任何希望了解数字生成方式的人都能轻松查看。
-
低估数据挑战:一些组织可能低估了管理大量数据所面临的挑战。他们可能未能认识到需要专门的操作来有效管理和利用其数据资产。
-
关注短期目标:组织往往专注于短期目标和即时结果。通过对数据操作进行战略性投资,您需要承诺长期的投入,虽然这可能不会立即展现出明显的好处,从而导致被低估。鼓励设定 6 个月或 12 个月的时间框架,给团队足够的时间来展示其影响力。前几个月可能进展较慢,但时间的积累和发展轨迹将最终带来成果。
主要数据管理
在一家公司,我们开始了一项大型的主数据管理计划。作为商业案例的一部分,我让我们的数据运营团队回顾了过去 12 个月内他们所维护的所有问题和案例数据,以确定这些问题、他们花费的时间以及为了解决这些问题或案例所做的投资,这些问题和案例将受到我们主数据管理计划的影响。对于所有人,包括我自己,结果都令人震惊。涉及客户层级不匹配、错误或无效的联系信息、用于运输的无效地址以及无效的行业代码等问题,所有这些问题将在我们的主数据管理实施中得到丰富和标准化。问题的数量、解决这些问题所花费的时间以及提供数据运营服务所需的成本,仅仅这些就足以证明我们实施主数据管理的成本是合理的。
-
预算限制:数据运营需要在工具和人员方面进行投资。在预算紧张的组织中,可能会有不愿为被误解为非关键职能的内容分配资金的情况。
-
过度强调技术而非流程:有时会过于注重获取最新的数据技术,而不是改进数据流程和协作。这种以技术为中心的观点可能忽视了数据管理的运营方面。
-
整合挑战:将数据运营团队成员整合到现有的系统和流程中可能会面临挑战。组织可能会因感知到的干扰和整合新流程或进行更改所需的努力而犹豫不决,而没有充分理解这种投资的回报。
-
组织内的孤岛现象:数据通常存在于组织内的孤岛中。打破这些孤岛以实施一个连贯的数据运营战略需要进行组织变革,而这可能是困难的。
-
竞争性优先事项:组织通常会面临多个相互竞争的优先事项。数据运营可能会因为其他更紧急或看似更有影响力的项目而被降级。
解决这些挑战需要提高对数据运营价值的认知,确保高层管理的支持,投资于合适的技能和工具,并培养将数据视为战略资产的文化。接下来的部分将概述你可以采取哪些措施,以争取所需的支持,从而推动数据运营的成功融资和定位。
使数据运营更加可见
当你努力将数据运营团队推向聚光灯时,让数据运营在组织内更具可见性涉及多个战略和实际步骤。对于我来说,争取支持的道路一直很艰难,但接下来我将概述的步骤将帮助你更快地获得所需的全面支持。我建议按照这个顺序进行:
-
高层支持和倡导:确保获得高层管理的承诺和支持。当领导者理解并倡导数据运营的价值时,他们将在整个组织中获得可见性和合法性。花时间进行教育并展示潜在的价值。使用对其业务单元(BU)或职能有实际影响的商业案例。
-
教育和宣传活动:通过举办工作坊、研讨会和培训课程,教育员工数据运营的重要性和好处。通过展示成功的案例研究和最佳实践,也有助于提高意识。每月发送通讯,突出当月的关键成果。
-
通过试点项目展示价值:最初在小规模、受控的环境中实施数据运营实践。利用这些试点项目展示实际效益,如提高数据质量、效率或决策能力,这些效益可以传达给整个组织。通过这些试点项目突出你的教育和宣传活动的价值。
-
将数据运营融入业务战略:如果公司和赞助商对在此领域进行投资持抵触态度,这将有些困难。然而,重要的是要将数据运营定位为整体业务战略的关键组成部分。这种整合确保它能在战略会议中讨论,并在决策过程中得到考虑。可以提出以下问题:我们需要在数据生态系统中改进什么,才能使这个流程/报告/指标/解决方案更加高效或有效?
-
创建数据运营团队和推广者:建立专门的团队并任命数据运营推广者(理想情况下,指派一名业务推广者),负责推广、资助和宣传数据运营实践。这个角色可以作为数据运营计划和讨论的焦点。有时,集中精力支持单一的业务单元可以有效地获得支持。你的推广者可能会从这个业务单元中出现。
-
制定度量标准和关键绩效指标(KPI):这可能是不言而喻的,但你应该定义明确的度量标准和 KPI 来衡量数据运营的影响。定期与利益相关者分享这些度量标准,可以帮助突出它们的重要性和有效性。利用你的教育和宣传活动,展示具有影响力的度量标准和 KPI。
-
内部营销和沟通:通过内部通讯、会议和仪表板定期沟通数据运营计划的成功和进展。分享故事和见证也是有效的。尤其当见证来自高级管理人员时,见证更具说服力。
-
鼓励协作和跨职能团队:通过组建跨职能团队,促进协作文化,团队成员可以来自 IT、数据科学、业务分析和运营等不同领域。这有助于打破壁垒,使数据操作成为更广泛组织讨论的一部分。你可能希望组建一个专门的数据操作核心团队,同时也拥有一个支持网络,在危机情况下参与。正式指定这些人员,以便明确你的团队需要他们提供什么支持。
-
利用技术和工具:使用现代工具和技术,展示数据操作的效率和影响力。这不仅能改善操作,还能作为其价值的具体展示。
-
反馈和持续改进:鼓励组织各个层级对数据操作实践提供反馈,并根据这些反馈不断改进。这种方法可以确保数据操作在组织中始终保持相关性,并时刻挂在脑海中。你最常收到的反馈是关于加快速度的。这是件好事——你可以利用这些反馈请求额外的支持(如资金和人员),如果你的公司已经看到了影响。
通过采用这些策略,数据操作可以获得更多的可见性和认可,成为组织整体效率、数据质量和决策能力的关键贡献者。通过以影响驱动的方式,你的团队将专注于产生影响,而不是仅仅解决问题。这样的思维方式将确保你的团队得到支持,并因其具有影响力的工作而得到认可,而不是仅仅作为后勤职能存在。
构建一个理想的数据操作能力并为成功奠定基础
构建一个理想的数据操作职能涉及战略规划、技术实施和培养协作与持续改进文化的结合。这个团队的核心设计是成功的、全组织范围的解决方案。以下是为影响力设置最佳团队的关键步骤:
-
定义明确的目标和范围:首先明确你希望通过数据操作职能实现的目标。这可能包括提高数据质量、加速数据管道开发或增强团队之间的协作等目标。你可以首先集中精力解决某个领域的问题,然后随着时间推移,逐步支持其他职能。如果你的公司正在进行重大转型(例如,实施新的 ERP 系统),你可能会优先支持这一举措,以确保项目的成功实施。
-
评估当前能力和需求:评估你当前的数据管理实践、工具和基础设施。识别数据操作职能可以解决的差距、低效和改进空间。你在哪些方面有需求?你在哪些地方能展示立即的影响?
-
制定战略和路线图:制定一个战略计划,概述如何发展数据操作能力。这应该包括短期和长期目标、里程碑以及实施的路线图。你可能会立即解决优先问题,同时建立支持数据操作团队战略重点的例行工作、节奏和流程。在交付过程中,明确优先事项并规划如何构建功能。
-
建立跨职能团队:数据操作需要不同领域的专家协作。组建一个包含数据工程师、数据科学家、IT 专业人员和业务分析师的团队。确保每个人都明确各自的角色和责任。我曾带领的最成功的数据操作团队来自公司不同部门,大家一起组成了初创团队。业务领域的专业知识帮助我们快速获得动力并提供有影响力的解决方案。外部招聘人员排在第二位,而这种顺序对于我们早期的成功至关重要。
-
投资合适的工具和技术:选择支持数据操作原则的工具和技术,如自动化、版本控制、持续集成/持续部署(CI/CD)和监控。寻找能够与现有系统良好集成的解决方案。刚开始时,你不需要华丽的工具,但随着团队的规模扩大,你可能希望考虑投资更先进的工具。
-
实施敏捷和精益方法:采用敏捷和精益方法来优化流程。这包括迭代开发、冲刺、站会和回顾,以确保持续改进。在大多数情况下,你需要快速行动。优先级的设定将是关键。制定一种方法论或分类流程,以支持敏捷工作流程。
-
自动化数据管道:尽可能将数据管道中的各个环节进行自动化,从数据收集、处理到分析和报告。自动化减少了人为错误,腾出时间用于更具战略性的工作。随着团队对数据环境的逐渐熟悉,你们会自然而然地识别出自动化的机会。将这些机会记录下来,以便在危机过后的空档期,团队能够专注于这些长期影响。你也可以考虑将团队分成危机管理组和长期自动化组,以支持需求的不同变化。
-
确保数据质量和治理:实施强有力的数据质量检查和治理政策。这包括数据验证、清洗,以及确保遵守数据隐私和保护法规。与数据治理负责人密切合作。
-
培养协作和实验的文化:鼓励不同团队之间的开放沟通和协作。创建一个重视实验和创新的环境。在会议中庆祝协作,推动这种文化的发展。
-
定期监控、衡量与优化:持续监控数据运营职能的表现。使用指标和关键绩效指标(KPI)来衡量成功并识别改进的领域。将这些指标和 KPI 公开透明。透明度至关重要。
-
培训和发展技能:投资于培训和发展计划,确保你的团队具备必要的技能和知识。这包括技术技能以及如协作和解决问题等软技能。我强烈推荐定期轮换关键人才进入和退出这个团队。花时间从事数据运营工作将扩展他们对公司数据流动方式及面临挑战的了解,并能通过第一手经验获得更深入的认识。这种视角非常宝贵,将为你的高潜力领导者带来极大的财富。
-
与业务目标对齐:确保你的数据运营举措与更广泛的业务目标和战略紧密对接。这有助于向组织展示数据运营的价值,并将精力集中在整体公司优先事项上,从而使转型变得更具影响力。这为更大投资提供了更高的投资回报率,这是你所在的数据组织展示影响力的绝佳方式。
-
反馈与迭代:永远不要忘记反馈是一种礼物。创建机制从最终用户和利益相关者处收集反馈。利用这些反馈进行迭代改进。要愿意并能够在需求变化时进行调整。
结论
构建一个优化的数据运营职能是一个持续的过程,随着组织需求和技术进步不断演变。它需要对最佳实践的承诺、持续学习以及适应新的挑战和机遇。在本章中,你已经学习了以下内容:
-
数据运营的重要性,包括为何它是构建成功数据解决方案所必需的
-
如何设计数据运营职能
-
实施过程中的具体需求
-
如何设计数据运营解决方案
通过了解如何运营数据组织的运营,你的团队将能够支持一个非常广泛的能力,包括管理主要数据管理、数据仓库、数据湖以及其他由数据组织管理的授权供应点。整个能力是所有其他数据治理职能得以运行的动力。确保你构建并合理对待你的数据运营团队。没有它,你的团队将无法产生必要的可见影响,确保获得高层支持并推动其增长。
第三部分:通过基于价值的交付建立信任
在这一部分,我们将把从第一部分和第二部分学到的所有内容,转化为一次成功的程序启动。在本部分后续章节中,您将学习更多加速和优化成果的技巧,这些成果将为您的业务利益相关者所重视和理解。最后,我们将带您走过一个良性循环,帮助您快速取得胜利。
本部分包含以下章节:
-
第十二章,强力启动
-
第十三章,通过有影响力的快速胜利实现成功
-
第十四章,数据自动化带来影响和更强大的成果
-
第十五章,推动业务成果的采用
-
第十六章,交付值得信赖的结果,实现重要成果
第十二章:强有力的启动
如果没有适当的启动,任何优秀的数据治理计划都可能迅速失去影响力。即使有明确的目标、里程碑和优秀的执行,启动的方式将决定计划的成功(或失败)。启动的重要性不容忽视。当我们进入本书的第三部分时,我们将详细讲解如何创建简单而有力的核心信息,以吸引并清楚地向利益相关者传达交付内容和交付方式。接着,我将引导你制定启动计划,设计反馈循环以确保持续改进,最后,如何定期报告以展示影响力。
本书的接下来的五章,共同构成了本书的第三部分,将前 11 章的所有知识点结合起来,指导你将这些信息转化为真正的数据治理转型。请注意,理解到目前为止本书中所概述的能力是一回事,但将这些信息转化为成功的数据治理转型计划则是另一回事。一些最优秀的技术数据治理领导者在将这些内容转化为实际影响时也会遇到困难,因为“技术能力”并不足够。这是成为数据专家的基本要求。然而,如果没有带领其他人共同走过这一过程的能力,也无法将其转化为有影响力的商业成果,你将无法取得成功。
当你开始着手启动数据治理转型时,确保早期启动计划正确非常重要。本章的重点将引导你完成这一关键步骤。作为数据领导者、商业领导者,或如果你是数据领导者的支持者,你的责任是确保业务深刻理解、接受并全程支持数据转型计划。鉴于大多数数据治理转型需要 24 到 36 个月的时间,确保公司整体支持你走得更远至关重要。某些关键能力,如主要数据管理、数据操作和目标架构,其投资回报期比其他方面要长得多。因此,启动时必须强有力,这包括交付快速胜利(我们将在第十三章中深入探讨)。
数据领导者和他们的执行赞助人应该共同制定一个充满前瞻性的未来愿景,帮助公司展望数据治理转型完成后的未来景象。作为数据专业人士,你知道数据工作永远不会结束。就像在长时间没有运动后恢复体形一样,爬坡是一个过程。然而,一旦你爬上了山坡,你不能停止锻炼。不,你必须继续锻炼,以保持你的体能水平。
数据也是如此。你需要进行转型(或实施)来推动第六章至第十一章中所概述的能力,融入到公司 DNA 中。这不仅仅是一次性的,而是一个可持续的过程。这是项目的“塑形”部分。除了转型外,你还将通过持续的数据实践,像保持身体健康一样维持公司在“数据健康”方面的水平。完成转型后,你的公司不应该再是原来的样子。
本章将涵盖以下主要主题:
-
评估启动准备情况
-
简单而有力的核心信息传递
-
执行全面的沟通策略以支持数据战略部署
-
设计反馈循环
-
为项目启动设定并满足期望
评估启动准备情况
在准备启动之前,你需要暂停并评估当前状况。我并不是说从数据管理成熟度的角度,而是从业务的准备情况来看。如果你在启动计划中假设业务准备改变的程度超出你的评估,你将面临阻力,并且很快会感到沮丧。如果你低估了准备情况,可能会发现自己在推销一个已经被接受的转型。这同样是糟糕的。如果业务尚未准备好,你可能会推动他们认为不需要的变革。如果他们已经准备好,你则会在他们希望看到变化发生时仍在讨论变革。两种情况都会导致你失去可信度和支持。这就是为什么评估准备情况如此重要。
你需要评估的程度有几个因素需要考虑:
-
你们有已建立的数据职能吗?
-
各级公司对数据的信任度有多高?
-
你们在生产中有核心能力吗?
-
你的成熟度得分是多少?它是否准确反映了公司在数据成熟度方面的现状?
-
你们是否有明确的数据负责人?他们是否被合理定位,并获得足够支持以推动大规模转型?
执行评估
为了帮助你评估你的组织是否准备好进行数据治理转型,花点时间反思一下你组织的现状。请在此处绘制之前问题的答案,以便在我们一起研究本章时,参考这些答案。对这五个问题的回答并不意味着你的公司不准备好——它们只是表明你在准备强有力地启动时需要采取的方式。
已建立的数据职能
第一个因素——数据职能的存在和成熟度——是一个重要的考虑因素,但任何答案都不是决定性的。如果你已经有了一个建立好的数据职能,这是一项需要考虑的因素,但并不构成开始的障碍。你可以利用没有中央职能的局面来推动对一个职能的投资,或者在需要时推动集中化。如果已经有了一个中央职能,你也许可以更快地推动转型。因此,在建立转型计划时,拥有一个团队将帮助你更快地走上转型之路。
图 12.1 – 已建立的数据功能
高度信任的数据
没有人会与你争辩,但拥有受信任的数据不再是一个可有可无的要求,而是任何公司必备的条件。当你对数据有高度信任时,这意味着高管团队不仅依赖数据来做出商业决策,还相信他们用来做这些决策的数据是可靠的。没有对数据的信任会在多个方面表现出来,包括高管层的信息不一致、对信息有效性的质疑、能力、数据和数据质量的明显缺乏,最终导致对数据职能的低信任。
当信任度低时,描绘一个信任数据的世界,其中信任数据不是例外而是常态,这会非常有说服力。一个简单而有效的用例是,询问你的高管团队,他们使用哪些指标(KPI 或 OKR)来衡量公司的成功。然后,问他们对这些数字的信心有多大。高管团队是否达成一致,认为这些指标是正确且可靠的?你信任这些数据吗?
大多数公司会告诉你,他们在最关键的指标上没有达成一致。或者,他们会说他们对自己团队负责的数字有信心,但对其他团队的数字没有信心。这表明数据的信任度较低,并且可以成为一个很好的切入点。
图 12.2 – 数据的信任度
已建立的能力
在评估已建立能力的状态时,下一个要考虑的因素是,现有的能力在数据转型启动前的适应性。在启动之前,评估已建立的数据治理能力的状态。无论是否集中化,你的组织是否有理事会、数据管理、Meta、日期管理、能力、数据质量、主要数据管理或数据操作?如果有,这些能力的成熟度如何?它们是否在整个组织中得到广泛应用?如果是,那么你在启动你的项目时就占了优势。仅仅拥有这些能力,就能让你在转型过程中取得一个强有力的起步,特别是它们能有效支持强大的数据赋能。
然而,没有建立数据管理能力并不意味着你无法启动一个项目。它仅仅意味着在你进行组织转型的过程中,你需要逐步建立这些能力。与前述因素一样,数据治理能力的强弱不会阻止你强力启动项目;这只是你在确定公司需要的转型程度时需要注意的一个问题。
图 12.3 – 核心能力
数据管理成熟度
正如我们在第四章中讨论的那样,你应该使用你的数据管理成熟度评分来提升公司数据治理现状的意识。较低的数据管理成熟度评分可以帮助提高透明度,并让高层领导了解数据能力的真实、公正状态。这是一种更纯粹的衡量组织状态的方式,相比仅仅评估能力的存在及之前的因素,因为数据管理成熟度考虑了这些能力在日常运营中的嵌入程度。
如果你有较高的数据管理成熟度评分,意味着达到 4 或 5 的水平,那么不太可能需要进行大规模的数据管理转型。它可能意味着你有一些聚焦的改进领域需要交付。大多数公司在数据管理成熟度评分上保持在 3 到 3.5 之间,尽管不同的行业有所不同。例如,金融服务和医疗行业通常比其他行业更为成熟,原因在于这些行业对数据控制和保护有更严格的监管要求。
图 12.4 – 数据管理成熟度
强有力的领导力
最后,评估你公司数据领导力的现状。你有首席数据与分析官吗?你有执行级别的赞助人吗?你有确保持续资金的路径吗?你得到了高层管理的支持吗?如果你没有这些支持,推动数据转型将会非常困难。你可能需要选择一个较小的项目或计划作为重点,以此在公司最高层建立信誉和可见度,作为第一步。然而,如果你幸运地得到了高级领导的支持,并且资金已经到位,或者有机会为数据转型争取到资金,那么你就处于一个很好的位置,可以为公司启动一场强有力的数据管理转型。大多数首席数据与分析官都会非常希望获得这种支持。
如果你没有高层支持,有一件事你可以做来开始争取支持。那就是传播你的愿景(我们稍后会讨论)和相应的计划。通过走访并逐一帮助你的高层了解公司目前的状况,因为公司还不够成熟,你将帮助他们睁开眼睛。
我怀疑,基于我多次主导此类工作的经验,仅仅通过教育你的高层并帮助他们看到“现状”的真相,将有助于你获得支持。这可能需要时间,但这些对话将逐步帮助你建立对强有力启动的认知。
图 12.5 – 数据领导力
共同的基准
大多数公司开始他们的数据之旅时,通常会有如下情况:
-
公司中分散着一些数据团队(有些可能比其他团队更成熟,但没有一致性)
-
在某些情况下,信息的信任度较高,通常是在财务领域,因为财务法规支持监管和财务报告
-
一些能力,通常更依赖手动操作;整个企业的一致性较低
-
结果数据的成熟度不是零,但由于努力的不一致和碎片化,它仍然处于较低水平
-
已经任命了一位数据领导者(通常这是数据转型得以进行的原因之一,因为他们会为此倡导),但仍需进行人员配备和正式化
这些内容一起构成了你“现状”状态的快照视图。这个过程的情节可能看起来像这样:
图 12.6 – 现状示例
现在,你准备好开始制定你的信息了。这五项评估标准将决定你如何传达转型的信息,从而帮助你强有力地启动。
简单且强有力的核心信息
在你开始进行正式的数据治理转型时,至关重要的一点是要确保你的信息简洁明了,便于大众理解。实现这一点的一个好方法是,思考一下当你交付完毕后,生活将会是什么样子。一个好的方法是从列出你的现状和未来状态开始。我见过很多公司这样做并取得了成功,这是一个明确展示转型前后差异的好方式。这个过程应该以多种方式进行,但最重要的是,从商业的角度出发。
例如,如果在当前状态下,为客户完成报价需要 18 天,但在未来状态下,我们预计只需 8 小时,你应该为用户定义这一点。向他们展示并告诉他们如何实现这一目标:
-
你打算实施一个新的系统吗?
-
你打算自动化流程吗?
-
你打算去除冗余流程吗?
-
你打算创建新的模型吗?
-
可能这甚至是上述所有情况的结合
最终,你越能明确描述将会是的体验与现在是的体验之间的区别,你就越有机会获得业务支持,并且能够强有力地启动你的转型计划。
制定引人注目的愿景
在你开始向更广泛的群体推广公司的数据转型计划之前,你需要花时间创造一个引人注目的未来愿景。这是你为公司构建一个想象中的未来的时刻。公司未来会是什么样子?它将如何运作?员工、客户和利益相关者的实际体验会是什么样的?他们在未来的状态下能够做到什么是今天做不到的?他们不再需要做什么?
这更多的是一种艺术而非科学,因为这是你真正去梦想你和你的团队将要创造的未来状态的机会。现在是暂时放下技术组件,去触动数据的情感部分的时候。那种未来状态会是什么样的感觉?
示例
我最喜欢的数据转型之一开始时只是一个旁支项目。有一个复杂的报告流程,需要一致性和基础数据,才能进行一些最复杂的监管报告。我们从找到几个非常好的例子开始,了解在当前状态下完成这种监管要求报告流程需要什么。通过全面了解完成大规模企业报告所需的努力,我们能够识别出有数百人手动处理数据,以生成单一报告。大量的手动干预涉及跨系统协调不一致的数据,迫使人们进行手动干预。
我们能够制定出一个强有力的愿景,使公司清晰地了解,如果我们实施统一的参考数据并将这些数据发布供所有系统使用,未来的状态将会是什么样子。通过将公司与这些统一的参考数据对齐,得以解决了不一致性的问题。这使得整个组织内的数据汇总工作变得极为简化,并且实现了更自动化的流程。通过向公司内部的几位高层展示这个用例,包括首席财务官、首席风险官和首席数据官,我们很容易就达成了这一目标。
最难的部分是将故事讲得如此清晰,以至于任何听到的人都能理解并立即支持这一进程。这样才能有效启动。让你的基线清晰明了,让每个人都有共同的理解,并愿意在之后支持你。在这个例子中,最难的决策变成了资金将来自哪里——不是我们是否能够获得资金,而是资金来源。得到了三位高层的支持,这是一场重大胜利。
请记住,愿景声明旨在提供一个远大的长期视野。它应该是鼓舞人心的,并且具有较高的层次感。以下是一些示例:
-
和谐地协调我们各异的数据源,将孤立的数据变成一股强大的行动洞察力合唱,推动我们在各个层面做出数据驱动的决策。
-
让每个员工都能自助访问精心策划的、值得信赖的数据,激发全公司数据驱动的问题解决与创新文化。
-
利用人工智能和预测分析,从被动应对趋势转变为主动预测趋势,预见市场变化,优化资源分配,并在商业环境中自信地航行。
-
将操作数据转化为高效的强大灵丹,简化流程、减少浪费,并通过自动化工作流和实时洞察最大化投资回报率。
-
打破部门之间的壁垒,民主化数据访问,促进跨职能协作,利用集体智慧实现改变游戏规则的成果。
-
为每个客户打造个性化的旅程,将数据驱动的洞察力融入每一个接触点,超越客户期望,建立持久的忠诚度。
-
挖掘历史数据中蕴藏的智慧,预测并缓解潜在风险,构建一个具有韧性和灵活性的组织,准备好应对任何挑战。
-
以目标为导向引领我们的环境和社会影响,利用数据优化资源消耗、减少浪费,并推动负责任的增长,确保可持续的未来。
-
将数据转化为战略武器,挖掘市场机会,超越竞争对手,在不断变化的市场中占据主导地位。
-
赋能数据驱动的文化,在这种文化中,每个决策都由洞察力驱动,每位员工都成为数据素养的倡导者,而数据则助力我们不断追求卓越。
现状与目标状态(即当前状态与未来状态)
在将愿景付诸实践时,现状与目标状态的对比将把愿景带到一个更为实际的未来状态。创建一个具体而精炼的视图,展示当前状态与未来状态之间的差异,是清晰传达为何需要变革的关键步骤。将未来的机会凝练成一个简单的故事,能够描述未来,并在此基础上进一步拓展你所定义的吸引人的愿景,帮助激发实现公司转型所需的动力。这将有助于建立理解,并作为推动你所有行动的背景,朝着想象中的未来前进。
通过有效地定义这种现状与目标状态的对比视图,您将使所创建的愿景栩栩如生。这还将有助于进一步明确目前正在有效运行的内容。也许有一些组件正在有效运作,您可以承认并突出显示这些组件。这将使您设想的未来更具可信性和可信度。特别是如果您刚刚加入组织,其中一个风险是利益相关者假设(也许是错误地)您没有花足够的时间了解公司的特定细微差别。通过在您的现状描述中具体说明,您将能够进一步通过承认今天运行良好的内容来增强可信度。
我建议您从两张一页的现状与目标状态视图开始:
-
简明地描述当前状态(例如,分析师需要几天到几周的时间来找到所需数据以产生洞察力)与未来状态(例如,分析师将能够在企业数据目录中找到经认证的数据集,从而在几小时而不是几个月内生成洞察力)。
-
通过视觉描述(例如,市场架构视图)来展示未来将会是什么样子,而不是单纯地告知:
图 12.7 – 现状与目标状态概念
结合一页简明的项目符号方法和第二页的视觉描述,您就可以涵盖视觉学习者与语言学习者的不同需求。如果您在撰写时遇到困难,请从较长的视角开始,并朝向简明的叙述努力。最终,如果您无法简明地描述,您可能会难以获得支持。大多数高管需要明确的结果路径,通过保持您未来状态的简明性,您的高管团队将迅速理解为何这很重要。如果您无法简洁地描述结果,您可能尚未准备好推动未来。
图 12.8 – 现状与目标状态市场架构
为了达到这个目标状态并概述您组织的适当未来状态,您需要利用第1至5章节中概述的工作。您还需要深入了解公司当前状态,并清楚地了解需要发生什么来适当定义这个视图。这是准备启动转型过程中最困难的步骤之一——将公司的需求转化为所需的转型。这将是独特于您特定情况和公司的。收集利益相关者、高管和其他公司最佳实践的输入会有所帮助,但最终,您的策略是为您的公司制定的。
使您的消息变得简明扼要
在你准备启动战略时,你需要将第一章到第五章的内容提炼成战略,并将其转化为简洁的信息,以便能够打动你的利益相关者。你应该预期不同的利益相关者会需要不同层次的细节。定义启动信息的第一步是确定你需要传达给哪些受众,以及他们需要什么样的信息:
-
个人贡献者/前线经理:需要详细的信息,如项目计划和分配给个人的具体任务
-
中高层管理:需要一个更为汇总的战略视角,以及关键的里程碑和一致的成果
-
高层管理团队和董事会:需要一个高度概括的以结果为导向的计划,展示公司将通过这项工作实现或经历什么
为了满足这些不同受众的需求,你需要撰写几种不同类型的战略信息材料。然而,我可以提供的最佳建议之一是,从北极星战略备忘录开始。这个备忘录不仅可以作为你所有工作背后的基础,还能向任何受众展示你有一个经过深思熟虑的计划。我建议你将这份备忘录控制在 10 页以内。它将迫使你详细阐述你将交付什么、为什么以及如何衡量成功,而不会过于冗长。
撰写叙述性备忘录
如前所述,明确战略的最佳方法之一就是将其写下来。听起来很显而易见,但许多高管未能从图像过渡到战略的完整描述。备忘录有两个优点:它帮助你充分明确战略,并以非常具体的方式定义未来状态。它迫使你深入思考细节并清晰地完善信息。在图像或幻灯片中,你可以更自由地避免细节,而在叙述性文档中,你必须更加深思熟虑和具体。
在北极星战略中,你应该涵盖三个关键领域:为什么需要改变,什么将被改变,公司如何到达目标。我建议你充分利用这个机会进行深入思考,因为这将为接下来几年的工作定下基调;然而,你应该设定一个预期,即该文件是活文档,将定期(至少每年)更新,以确保它继续支持公司的战略。
-
为什么公司需要 改变:
-
当前状态下缺少什么?
-
当前的成熟度状态如何?
-
公司因为当前状态无法做到什么?
-
公司在战略实施后,将能够做什么?
-
-
将要 改变的内容:
-
将部署哪些能力?
-
什么将保持不变?
-
将增强或丰富什么?
-
什么将被淘汰或退役?
-
-
你将如何 实现目标:
-
我们如何到达目标?
-
员工将如何体验这一变化?
-
关键的里程碑是什么?你将如何达成这些目标?
-
-
谁将 参与:
-
C-suite 中谁需要支持这项策略?
-
谁将参与其中?什么时候?如何?
-
谁不需要参与策略?
-
在你为公司草拟战略备忘录时,要反复修改。在草拟过程中请求反馈。我建议你确定几位关键的支持高管来参与备忘录的撰写。这个建议将帮助你与利益相关者共同进入战略启动阶段,而不是单打独斗地试图改变公司。通过让他们参与草拟工作,你现在拥有了与使命共进的伙伴。
基于结果的设计
一个好的商业项目从结果开始。这意味着要向前看,真正思考在你完成项目后,生活将会是什么样子。你必须从公司战略开始,然后是聚焦于实现公司战略的部门战略。你的工作必须支持并促进战略。花时间具体列出公司旨在交付的内容,并说明你的工作如何在具体层面上支持这一点。公司是否关注运营利润率?展示你的团队如何通过成本节约活动创造利润。明确如何做。你可以关注的几个关键领域如下:
-
推动产品创新或效率
-
增加收入
-
提高运营效率和/或减少开支
-
可衡量的客户满意度或体验提升
-
降低业务风险
通过将你的转型工作框定为这些类别,并将其转化为你的北极星,你将帮助业务理解为什么你的团队交付的成果对他们重要,从而影响他们的成功。
失败的最大风险之一就是投资于那些与业务结果没有明确关联的项目或能力。如果业务没有清楚地理解你为公司所做的工作如何转化为对他们的影响,他们就不会支持你。更糟的是,他们可能会反对你。时间、金钱和资源都是有限的。如果你无法清晰地阐明你正在做的事情如何影响他们成功的能力,你就不会成功。
很容易过于偏重运营效率和风险缓解。这些是你对公司职责的重要组成部分。然而,越是能够将数据办公室的工作转化为收入,你就会越成功。有时候,这个连接可能会相对间接,但这没有问题。然而,不要犯没有连接到收入的错误,即使是间接的。
提示 |
---|
在你起草并启动数据战略的过程中,确保深入关注如何将其转化为业务术语。请让一位非数据专业人士阅读你的战略,并让他们标出任何未解释或未转化为业务结果的术语。通过去除数据术语,你将确保数据战略的撰写最大限度地产生影响。 |
创建可重复的过程
在准备发布计划时,确保你准备好在组织内广泛而深入地进行教育。你应该计划进行类似路演的沟通巡回活动,分享愿景、计划以及未来的样子。告诉他们,再告诉他们你所告诉的内容,然后再次告诉他们。你将需要利用几种不同的沟通机制,确保企业范围内的理解:
-
备忘录:确保你的数据战略备忘录已发布并广泛提供审阅。透明度是强力启动的一个重要优势。
-
计划:制定一个计划,展示你将交付的内容以及时间安排。具体说明每次发布或发布时利益相关者能够做什么,以便他们能够消化他们在此过程中可以期待的内容(而不仅仅是结束时的内容)。
-
更新:规划如何在整个过程中更新你的利益相关者群体。你将需要为董事会和直接参与数据战略的个人提供不同的更新。提前明确他们期望从你这里得到什么信息。
-
状态报告:定义状态报告的格式。明确你将如何分享它们。根据公司文化和偏好,考虑实时口头更新与书面异步更新的选择。不要害怕将这些报告公开给广泛的受众。透明度建立信任(尤其是当消息不好时)。如果你的利益相关者知道你能信任你分享艰难的消息,他们也会知道可以信任你分享好消息。
-
预算:虽然并非所有受众都相关,但你应该有一份详细的预算,用于衡量数据战略实施的财务方面。
-
关键绩效指标(KPI)和成功度量:定义如何衡量成功。一种最佳做法是发布一个分数卡,显示随时间推移的进展。定义度量标准以及它们的计算方式。同样,透明度是关键,因为你将发布自己的成功度量。
记住,整个数据团队和赞助者都是数据战略及其相应实施计划的传播者。在每个论坛上带来积极的能量。当你对战略和公司使用数据的未来充满激情时,其他人也会受到感染。
设计反馈循环
在启动(而不是之后)时,定义您将如何在整个过程中改进。只有在建立持续改进的途径时,您才能不断提升成果,这其中包括对反馈循环的关注。在启动时,您应向所有利益相关者(高层管理人员、经理和个体贡献者)解释他们如何提供意见,并鼓励他们这么做。如果他们看到有什么可以改进的地方,鼓励他们提出建议。
您可能希望为此建立几种选项:
-
通过论坛收集口头反馈:建立论坛让个人了解您的策略执行情况。您可能需要针对不同的受众组织几个不同的论坛。利用您的企业数据治理委员会或委员会向高层管理人员提供更新。您还可以考虑建立一个更广泛的市政厅式论坛,向更大的受众发布口头更新。
-
通过调查收集正式反馈:在实施数据策略的过程中,您可能需要定期请求正式反馈。对于广泛的受众,使用调查是一个很好的方式。如果您打算从广泛的受众那里收集书面反馈,您应该明确反馈将如何处理。我建议承诺将反馈(无论好坏)分享给您的利益相关者。
-
通过工作流程收集书面反馈:如果您的组织使用工作流工具,您可以选择允许反馈持续提交,以供数据团队考虑。这种方式在实施过程中可以更自由地流动信息,但需要您的团队来管理工作流。根据变更的程度,您可以考虑在较大的、快速推进的转型中采用此选项,以便快速调整。
在与利益相关者一起分享更新、聆听反馈并相应调整时,您将确保利益相关者继续从您通过实施数据策略所带来的转型中获得价值。如果未能建立反馈循环并将适当的反馈融入策略执行中,您可能会交付无法服务于公司目标的结果。
在项目启动时设定并达成期望
在启动您的项目时,您应明确利益相关者对成功的期望和感受是什么。清晰地定义他们可以期待您的什么以及何时能够实现。随着您履行对利益相关者的承诺,确保告知他们发生了什么,而不仅仅是向他们展示。您可以通过多种方式展示项目进展。这将帮助您的利益相关者看到并记住进展情况。每当达到一个里程碑时,发布一些信息性消息:
-
微型培训:小规模的个别培训(可以是现场或预录的视频),展示发布后可以做些什么。
-
衡量结果:以 KPI 或其他指标来展示结果。通过易于访问和使用的方式发布这些信息,比如仪表盘或内部网站。
-
以前与现在:展示现在可以做到的,而以前无法做到的事情。附加内容:展示未来发布版本中能够做到的事情,以保持利益相关者的兴奋感。
这里有一个最后的建议。当你规划启动会议时,不要等到交付才开始。现在就开始,并且在你启动战略后,已经交付了一个成果,展示你不是在等待产生影响,而是影响已经发生。尽早交付成果,并在启动会议中宣布。这将向利益相关者社区展示你迫切希望交付成果,并且你并非等待做出改变,而是已经开始了。这是一种强有力的启动方式,并且能够在你的数据战略交付中建立立刻的信任。
结论
正如你在本章中所学到的那样,强有力的启动是推动公司数据转型势头的最佳方式。通过快速且全面地推进,并通过成熟度评估(如在 第四章中所讲),你将建立一个坚实的基础,从而对你的组织产生重大影响。在本章中,我们讨论了成功启动计划的基础,包括以下内容:
-
如何清晰地表达并使用商业术语
-
如何设计启动前和启动时的沟通模式
-
制定启动计划
-
创建反馈循环以收集意见
-
融入反馈,传递更强有力的信息
在下一章中,我将指导你如何识别并构建快速成功的案例,以帮助提升数据转型启动的速度,从而迅速且有效地获得组织的支持与关注。这两章相辅相成,帮助你建立强大的信誉,并获得全企业范围的支持。大胆地启动你的转型,适当归功于你团队的影响力,并通过逐步交付显著成果,来不断积累支持。
第十三章:通过有影响力的快速胜利交付
当你启动数据转型计划时,你的团队将快速且持续地交付成果。由于数据治理的性质,以及对数据是否能转化为真实、可衡量结果的怀疑,你需要尽可能缩短首次价值的实现时间,并清晰且持续地展示进展。在本章中,我将向你讲解如何通过快速胜利创造势头,如何有效地与业务沟通这些胜利,以及如何确保业务利益相关者理解你的成果如何转化为他们的成功。
根据我的经验,完全押注于大型变革性平台的数据领导者,往往在他们的成果显现时失去利益相关者的兴趣。你不能等到你的平台或能力上线后才宣布胜利。根据我的经验,宏大解决方案很重要,但不能成为一切。没有任何利益相关者或公司会等上 18 到 24 个月,才看到他们在数据投资上的成果。成果必须在小块时间内实现,同时你还需要交付增量的结果。
根据德勤的研究(请参见本章末的进一步阅读部分),首席数据与分析官的平均任期约为两年半,而其他高层管理人员的平均任期大约为五年。因此,展示你能够交付可持续、可衡量的成功至关重要。你的成功取决于此。在你意识到这个压力时,不要让它让你瘫痪,而是将其作为动力。请记住,你必须每天都要持续表现,并展示出影响力。
首先,你需要确定什么构成“快速胜利”。这意味着什么?什么对你的利益相关者有价值,什么对你自己重要?我建议你先为你自己和团队回答这些问题。招聘是你必须做的事情,但在利益相关者眼中并不是一种“胜利”。然而,解决一个长期存在的数据质量问题,这个问题导致了高层的指标错误,却是一个你应该庆祝并与大家沟通的胜利。那么,识别快速胜利需要什么条件呢?我们从这里开始。
本章涵盖以下主题:
-
寻找快速胜利
-
为什么政策、标准和程序能够引起轰动
-
数据所有权
-
将产品思维应用于数据能力
-
通过持续交付模式建立势头
寻找快速胜利
当你开始加快进度并与初始利益相关者会面时,正如我们在第二章中讨论的,你聆听了利益相关者的关注点,了解了哪些进展顺利,哪些进展不顺利,并开始更好地理解他们的需求。现在是时候与他们一起制定优先事项清单,明确他们当前的需求和长期需求了。在这个阶段,你需要与团队和利益相关者群体一起完善需求的优先级清单,以便在组织中产生重大影响。
确定需求领域
在你继续建立这些关系时,建立信任的关键一步是履行你所承诺的内容。当你与利益相关者会面时,你应该已经捕捉到他们的需求清单。以原始形式,这个清单可能会像这样:
销售 | 市场营销 | 财务 | 支持 |
---|---|---|---|
• 客户有多个版本 • 无法查看完整的交易历史 • 季末报告缓慢 • 按产品测量收入不一致 | • 每个营销活动有数千封失败的邮件 • 错误的邮寄地址增加了我们的成本 • 无法衡量对销售收入的贡献 | • 由于缺乏标准化数据,财务报告的汇总过程高度手动 • 无法提升质量 – 缺乏责任感 | • 无法看到客户购买的产品以确定应提供什么样的支持 • 客户有多个版本 |
表 13.1 - 通过利益相关者访谈识别的问题示例
这些只是你在与利益相关者交谈时可能听到的一些例子。在你的倾听之旅中,你可能已经识别出数十个问题。将它们按领域列出,即使是跨部门重复出现的问题。接下来,你应该做以下事情:
-
将单独的清单反馈给你会见的个人。一个简单的“感谢您与我会面,这是我所听到的,我是否遗漏了什么?”可能会非常有帮助。它可能激发新思路或澄清你没有正确捕捉的内容。
-
与你的团队会面,分享清单并分享你所听到的内容。请团队提供反馈。你可能会发现他们知道其他存在的问题(无论规模大小),你可以将这些问题加入到清单中。
一旦你得出了一个稳定的当前问题清单或缺失的能力清单,这些问题或能力正在影响业务和/或后台职能的成功,下一步就是查看跨部门和单一部门中现有的内容。这意味着寻找共同主题,也要关注差异所在,以便你能确定哪些是多个利益相关者的需求,哪些仅服务于单一部门。
合理化清单
在审查列表时,你会看到其中的主题。以下是我为参考而突出显示的两个一致主题的简短示例。请注意,在一个示例中,措辞相同,因此容易识别,但第二个问题的措辞并不完全相同。这是故意为之。你必须熟悉这个列表。仅仅拥有这个列表是不够的,你必须对内容非常了解。使用匹配逻辑在电子表格中可以发现语言一致性问题(如果你有一个长列表),但其他问题则无法通过这种方式发现。这是为了说明为什么与列表保持亲密关系是很重要的。
图 13.1 – 各部门识别出的共同问题
实用提示 |
---|
通过创建这个列表,你可能已经为利益相关者揭示了各组之间的共同点。考虑与利益相关者分享完整列表,让他们看到其他小组所面临的问题。他们可能没意识到其他小组也有他们面临的相同问题(例如,关于交易历史的前述示例——这与右侧的相同问题,只是措辞不同。它需要相同的解决方案,但如果没有数据专长,可能无法意识到这一点)。这可以激励你的利益相关者社区齐心协力,与你以及彼此之间进行合作。 |
你可能想重新格式化列表,使其基于问题,并标明哪些小组受到问题的影响,像这样:
问题 | 销售 | 营销 | 财务 | 支持 |
---|---|---|---|---|
客户的多个版本 | X | X | ||
无法查看交易的完整历史(以确定历史购买情况并评估适当的支持水平) | X | X | ||
季末报告迟缓 | X | |||
按产品的收入衡量不一致 | X | X | ||
每次营销活动中的数千封失败邮件 | X | |||
错误的邮寄地址增加了每次营销活动的成本 | X | |||
无法衡量营销对销售管道/收入产生的贡献 | X | |||
由于缺乏标准化数据,财务报告需要非常手动的汇总 | X | |||
无法改善数据质量,因缺乏所有权 | X |
表 13.2 - 各部门识别出的共同问题,重新格式化
从这个视图出发,你应该努力识别哪些问题可以在短期内至少以某种有意义的方式得到解决。这个想法并不是要立刻或完全解决所有问题,而是展示在短期内为利益相关者带来有意义的进展。通过解决“短期可赢”的问题,你能增强与利益相关者之间的信任,让他们相信你能为他们带来真正的变化。这将展示出短期的紧迫性,服务于长期可持续的发展视角。
优先排序列表
现在你已经列出清单,流程的下一步是确定你应该专注于什么,以及以什么顺序进行。您和您的团队应该问几个问题来帮助优先考虑重点:
-
解决每个问题的影响是什么?
-
您将如何衡量成功?节省的时间?生成的收入?避免的成本?如何量化影响?
-
紧急程度是什么?
-
现在能做些什么来解决紧急问题,与需要更可持续长期解决的问题有何不同?现在解决问题的一部分是否值得?
-
你有解决问题所需的人员吗?专业知识?
例子 - 无法看到客户的购买历史记录
场景:在这个例子中,公司销售一种订阅产品,并提供附加的支持服务。
销售需求:销售专业人员需要能够看到客户购买了什么,以便他们能够 1) 销售额外的补充产品和服务,以及 2) 知道将来几年需要续订什么。没有这些信息,销售团队只能问客户:“您购买了什么?”这可能导致客户体验不佳,也为续订产品的收入机会造成损失。客户经常不会被续订,导致收入的流失。
客户成功需求:客户成功代理无法看到客户购买了什么,因此在他们打电话到呼叫中心时不知道客户是否有资格获得特定级别的支持。他们必须相信客户的话,没有办法验证他们对服务的资格。这导致假设过度为客户提供服务,但以牺牲收入为代价。
优先框架
现在我们已经记录了清单,让我们定义如何建立一个框架来优先处理这个清单。考虑以下几点:
-
解决业务问题的影响:销售和服务都面临收入的泄漏风险,无论是销售的升级销售机会还是续售机会,还是客户成功的附加服务/支持。此外,我们可能过度为客户提供服务,而没有适当地收费,从而增加我们的服务成本。
-
如何衡量成功和影响:将自己置于企业的位置。问自己以下几个问题:解决了这个问题后,企业能做到什么他们今天无法做到或体验到的?我将如何衡量?在这个例子中,收入是这个问题的结果,以及过度提供服务,这增加了每个客户的服务成本,因为我们提供的服务比他们应得的要多(至少是增加的水平)。一个度量指标是收入的百分比续订,另一个是每个客户的服务成本,最后一个是流失率。
-
紧迫感:收入流失和服务成本通常是管理层非常关注的关键问题。可以合理假设,销售、服务和高层管理会非常急切地想要解决这个问题。
-
短期工作与长期工作:在这一阶段,你和你的团队应该集思广益,思考如何在非常短期内,同时也以长期和可持续的方式来解决这个问题。你今天、这周、这年能做些什么?
-
资源配置:你可能需要什么投资来完成这个短期和长期项目?今天你有没有可以利用的资源,通过重新优先排序或为团队成员创建一个具有挑战性的任务来调配资源?你是否需要资金?
在像前面这种例子中评估每个问题后,你应该重新优先排序,按照你打算解决问题的顺序来排列列表。你不需要一次解决一个问题。事实上,你可以选择 5-10 个问题,和团队的不同部分一起同时解决所有能迅速取得成果的问题。如果是我来处理这个列表,我会让数据治理团队负责财务的所有权问题,让平台/主要数据团队负责统一客户视图的问题,并让数据运营团队处理我们正在一起探索的购买历史例子。
短期与长期的胜利
在一个共同的问题或能力范围内,你应该有短期解决方案,能够迅速取得成效,也有长期解决方案,能够在长远来看提供稳定的解决方案。那么,如何做出选择?
-
创造选择性:为利益相关者提供一些选择供他们考虑。理想情况下,提出三种解决方案来解决他们的问题。
-
涉及利益相关者:听取他们对你提议的选项的看法。提出一些好奇的问题,例如:“我们遗漏了什么?这些选项可能会影响到哪些其他方面?”
-
利用现有资源:考虑你所拥有的资源。每次做新事情时如果你都要求资金和/或资源,这可能会被视为一个警告信号。你能在没有一分钱或新增员工的情况下做些什么?
-
展示进展(而非单纯报告):在你取得进展时,定期与利益相关者进行沟通。展示进展比发送状态报告更能赢得可信度。向他们展示你是如何帮助他们取得胜利的。
-
迭代:为了快速展示进展,你需要展示逐步的进展。随着功能的交付,迅速展示并寻求反馈。迭代时要保持紧迫感。
-
示范:将你的迭代解决方案展示给利益相关者,向他们展示你和你的团队所创造的成果。获取他们的早期和频繁反馈,以便你能展示持续的进展,并在交付时包括任何反馈。不要等到解决方案完成后再向他们展示你为满足他们需求所做的工作。
-
上线:简单来说,启动你的解决方案。一旦交付了初步功能,你将继续迭代并交付新功能,因此,请带着紧迫感上线。
-
广泛沟通:与利益相关者分享你的解决方案,但也要与其他人分享。将这个新解决方案添加到月度沟通中,或者分享给更广泛的利益相关者群体的状态报告中。这将是一个很好的方式,展示你已经交付了一个有影响力的解决方案。
-
快速失败:如果解决方案不起作用,或者你需要改变方向,不要害怕这样做。只需要尽快行动。你随时可以进行调整。
-
构建长期解决方案:在你部署或交付了快速解决利益相关者需求的第一次迭代之后,开始着手构建长期解决方案。这可能意味着交付比快速胜利更可持续的解决方案/版本,或者可能是一个完全不同的可持续解决方案。无论哪种方式,一旦你交付了快速胜利,下一步就是立即着手解决长期稳定需求。
示例 – 无法查看客户的完整历史购买记录
-
场景:在这个例子中,公司销售一种带有附加支持服务的订阅产品。在当前状态下,销售和客户服务团队无法验证客户购买了什么,因此遇到了两个主要问题:
-
客户服务代表不确定客户应享有哪一等级的服务套餐,导致过度或不足服务。
-
销售代表不确定客户之前购买了什么,因此不确定该续订什么。这导致了收入未被开票。
-
-
短期/快速胜利目标:在 ERP 数据基础上构建一个简单的查找功能,以识别未被续订的流失收入。这一收入流失识别能够为长期解决方案的额外支出提供合理依据。(注意:这是一个非常常见的问题,在大企业中,通常会导致发现数千万或数亿美元的未开票收入。)
-
长期目标:构建一个购买历史工具,展示客户的所有历史记录,供市场营销、销售、客户服务和财务部门轻松查询任何客户的所有历史记录,且可以在全球范围内查看。
-
需要考虑的事项:在你开始构建快速胜利与长期解决方案的过程中,你需要了解你现有的资源。按照前面提到的 10 个步骤,你首先需要为利益相关者提出多种选择供他们参考。理想情况下,你应该能提出三个或更多的选项来解决他们的问题。其次,你需要让利益相关者参与这些选项的选择过程。你应该询问他们关于你准备的选项的问题。
-
我们所做的:在这个例子中,我们准备了包括能够从我们的企业资源规划平台获取原始交易数据并根据这些信息整理视图的选项,虽然这些数据的质量不是最高的,但足以让团队开始使用。这解决了第 3 步,即利用现有资源。当我们朝着第 4 步前进时,我们开始向利益相关者展示来自 ERP 系统的原始数据是什么样子的。尽管这些数据并不完全或详尽,但它为他们提供了一个起点。我们与利益相关者合作,基于我们生态系统中其他可用的数据源,提供了我们能够迅速修正的迭代视图。
通过与我们的利益相关者反复沟通,我们还通过在数据集上方添加一个非常简单的 GUI 界面来展示我们的解决方案,这使得利益相关者能够搜索他们需要的历史记录。一旦我们从利益相关者那里获得足够的信心,认为这能开始解决他们的问题,我们就将其投入实际使用,并有效地传达了该版本中的数据并不完全可靠,但足以开始使用。我们还与其他我们认为可能对这些信息感兴趣的团队分享了这个早期版本。IT、财务和市场营销等其他团队也对这个初步视图感兴趣。
从长远来看,我们需要为客户建立一个主要的数据管理平台,以便我们完全有信心掌握客户的完整视图及其围绕单一实体的层级结构。最终,我们自动化了购买历史平台,将购买历史与相应的客户关联,并能够查看最低法定实体的购买历史,同时也能够将购买历史汇总到最终的母公司(最高层级)。我们通过反复交付,直到相关利益相关者拥有一个完全自动化、端到端的可持续解决方案。我们为公司节省了数百万的运营效率和丧失的收入。
组织准备工作考虑事项
令人惊讶的是,几年前曾提出过类似的建议,但没有得到业务方的批准。为什么会这样呢?有时,组织可能因为各种外部因素而不了解自己的机会。或者,可能是之前的提案没有提出得很有效。仅仅因为之前没有成功并不意味着现在就不行。如果你的利益相关者第一次没有接受你的建议,过一段时间再试一次,特别是当领导层发生变化时,你可能需要考虑新的领导者可能有新的想法。
你还应该考虑公司的状况。如果公司正经历财务困境,可能不是请求数百万美元推动数据议程的合适时机。要专注于你需要交付的内容、公司为何需要这些内容以及如果你做到了,财务结果将如何。仅仅表明你的解决方案将带来“收入”是不够的。要清楚地说明如何以及为什么。如果公司处于财务增长阶段,可能是一个更好的时机去尝试和创新。
投资/资金模型
通常,有几种方式可以资助这些快速成功的项目。根据组织的偏好,具体选项可能会有所不同。常见的有三种选择:
-
CDAO 办公室资金:你使用自己的预算为这个快速成功项目提供资金。我的建议是,当你尝试展示团队交付能力时使用这种方式。这通常被视为一种“善意”尝试,旨在展示有信誉的结果。
-
利益相关者资金:你请求利益相关者为你的快速成功项目提供资金。我只推荐在你与利益相关者有良好关系且他们习惯为你的团队提供资金时使用这种方式。
-
混合资金:你要求利益相关者资助解决方案的一部分,而你自己则提供解决方案的另一部分资金。当需要更多投资才能启动项目时,双方都认识到快速成功至关重要,并且在交付共享成功方面达成一致时,这种方式可能奏效。
根据我的经验,当你的团队自行资助快速成功,并且只有在你展示了团队能够交付时才向利益相关者寻求资金,这样的方式更有助于建立牢固的关系。只有在你完成“快速成功”阶段并开始交付长期可持续解决方案时,才应该向利益相关者请求资金。根据你的最佳判断,并遵循公司资金模型的规范。
跟进
这应该是显而易见的,但如果你想让利益相关者认真对待你,你必须在快速成功中交付卓越的结果。如果你的利益相关者正在资助你的快速成功项目,那么实际上没有失败的余地。有很多方法可以“成功”,但你必须交付一个符合或超出他们期望的结果。
一旦你交付了第一个版本,你应该立即要求对下一版本的解决方案提出反馈。在这个快速成功阶段的每一次交付都会在你的团队能够交付业务需求方面积累一点信誉和信任。不断向利益相关者展示他们可以依赖你提供卓越的结果,并且你是他们的合作伙伴。与他们一起构思下一步并继续交付。这种良性循环的交付将在你进入更大规模的交付时带来回报。
有效沟通以获取支持
在完成所有前期工作后,通过持续交付识别、生产和迭代结果,遗憾的是,许多数据领导者未能适当进行沟通。通常有两种情况:过度沟通低影响力的结果,或者对有影响力的交付沟通不足。试想一下这个非常简单的观点:
高影响/ 沟通不足 | 高影响/ 高度沟通 |
---|---|
你已交付了很好的解决方案,但你没有有效地向你的利益相关者或用户讲述这个故事。 | 你已交付了很好的解决方案,并且你有效地与利益相关者沟通了。 |
结果:利益相关者没有意识到你的快速获胜成果,因此没有为未来的投资和产品提供适当的支持。 | 结果:利益相关者意识到你的有影响力的工作,并为未来的投资和产品提供支持。 |
低影响/ 沟通不足 | 低影响/ 高度沟通 |
你交付了低质量或低影响力的结果,并且你没有广泛地与利益相关者或用户分享这个结果。 | 你交付了低质量或低影响力的解决方案,但你已广泛地进行沟通。 |
结果:你没有交付任何成果,而没有人注意到。你应该重新开始,找到另一个有影响力的数据解决方案并尽快交付。 | 结果:你已经损害了自己的声誉。你过度沟通了一个低影响力的解决方案,这降低了利益相关者在未来你为他们提供高影响力成果时,信任你的结果的可能性。你可能会在为下一个产品/解决方案争取资金或支持时遇到困难。 |
表 13.3 - 快速获胜和沟通效果的影响
你希望处于右上角——高影响力和有效沟通。然而,接下来最好的位置是左下角。这个结果可能是意外的,但另外两个区域对于团队的成功而言,风险更高。
衡量结果
在你进行沟通时,别忘了我们在第五章中学到的内容,与结果对齐。衡量你交付的结果的影响是至关重要的。例如,在我们之前讨论的购买历史示例中,我们识别出了客户承诺续订但销售未完成续订的未计费收入。在该示例中,通过财务交易和订单表格,我们能够识别出承诺的年份、已经计费并支付的部分,以及未计费和未支付的部分。未计费的承诺可以被衡量并汇总。未计费收入总额达到了几百万美元。
通过向所有利益相关者群体(包括财务、销售和高层管理)进行外部报告,我们能够非常明确地说明,团队已识别出具体的未开票收入金额。当销售部门根据这些数据跟进客户时,大多数客户都很愿意支付这些服务费用,但没有人要求他们这么做,他们也没有意识到这一点。我听过其他许多公司也发生了完全相同的情况。
能够直接识别出其工作带来收入提升的数据团队,通常会发现为他们的项目获得资金比衡量结果不那么直接,或者没有直接的收入或运营节省关联时,要容易得多。如果可以的话,具体衡量结果并清晰地分享。争取利益相关者对你所识别的数字的支持,然后一起向高层管理汇报结果。这将增强你的可信度和合作伙伴关系。现在我们已经学习了关于快速成果的一切,在接下来的章节中,我们将探讨政策、标准和程序如何帮助你实现这些成果。
为什么政策、标准和程序能引发关注
在你的数据治理团队方面,你可以提供的最简单的快速成果之一就是建立有效且易于理解的政策、标准和程序。根据我的经验,你的一些利益相关者可能只是希望能够自助完成工作。我认为这是一个很好的信号,这意味着你的组织中有许多高素质的数据专业人士,他们希望能够开始工作。然而,如果他们希望你的团队告诉他们做什么,怎么做,以及如何与团队的工作对齐,那么这些就是积极参与的利益相关者。
你能做的最好的事情之一就是为他们提供他们所寻求的指导。做到这一点的最简单方法就是发布他们可以使用的指南。当你的一些数据工程师和分析专家在关注数据治理的技术性部分,取得其他快速成果时,其他团队成员可以并行地专注于发布这些文件,从而支持更广泛的企业。
特别是当你的团队规模小或较新时,制定简单、直接且不太复杂的政策、标准和程序,是一种极好的方式,让整个公司都能参与到数据工作中,而无需大量的团队成员。仅仅提供模板就是一种非常简单的方式,能够让你的管理社区参与进来,帮助他们如何记录简单的控制措施,定义如何衡量和报告数据质量的状态,或执行简单的数据操作。
虽然前面的购买历史示例在一个特定领域进行了深入分析,但政策、标准和程序则横跨整个组织。通过将技术解决方案与更广泛的解决方案(如简单的数据政策)相结合,你将获得多个利益相关者群体的支持。这是建立数据项目有效推动力的另一种方式,同时使公司清楚地知道他们需要做什么以及如何做。在发布政策、标准和程序,并交付数据治理能力后,你可以采取的下一个最佳步骤是明确数据所有权。通过指定数据所有者,你可以在一个联邦模式下实现数据治理,从而在整个企业中实现问责制。
数据所有权
在第三章中,我们讲解了如何建立一个高效能的团队。你可能还记得,建立高效能团队不仅仅是关于你直接管理的员工,还包括整个公司内的数据社区。建立高效能团队时,最重要的考虑因素之一是激活那些直接管理数据的人。这些数据管理员(无论是技术数据管理员还是业务数据管理员)是将我们在本书第二部分中讨论的所有能力付诸实践的关键组成部分,同时也是实施政策、标准和程序的关键。
获得快速成功的一种方式是激活你的数据管理社区。数据治理领导者(我们在第三章中提到过)应该识别出组织内的数据管理员,并利用这些管理员来实施政策、标准和程序,同时识别快速成功的机会!最接近数据的人是日常看到并经历数据问题的人,因此,他们是你识别快速解决机会的最大来源。
确保跟踪谁在提供这些创意。当这些创意到来时,你可以尝试以下几种方法:
-
创建黑客马拉松:通过收集需要解决的创意来激活你的社区。然后,将这些创意反馈回社区,创建一个类似竞赛的论坛,将这些创意“破解”成解决方案。请高管请获胜者吃午餐,或以问我任何事(AMA)为奖品。请注意,这不需要资金支持。
-
请求提交:收集创意的一种方式是创建一个提交创意的论坛。你可以使用 Slack 频道,或简单地通过一个监控的邮箱收集这些创意。
-
创建报名表格:允许个人在表格上记录他们的创意。确保记录下提交创意的人的名字,以便你可以对他们进行认可。
通过让整个数据社区参与进来,你的影响力和创意将比单纯依靠团队自己收集或生成创意时更加丰富和广泛。对于收集到的创意,人们会有很强的归属感,因此,要庆祝那些提出创意的个人。当解决方案被收集、解决并传达时,记得提及并发布是谁提出的。这是一个很好的方式,来表彰那些在公司内支持你们团队和数据的人。现在我们已经了解了数据所有权是什么,以及它如何帮助定义快速成功,我们接下来将学习如何将产品思维应用于最终解决方案的制定。
将产品思维应用于数据能力
持续对解决方案进行迭代的最佳方式之一,是将产品思维应用到数据能力中。这个概念在过去几年中已经在数据领域兴起,而在撰写本文时,我已经在我领导的两个团队中推行了这一模型。理解这一思维方式的最佳方式是看看技术行业中的产品是如何部署的。在你以数据产品思维来构建解决方案时,这是一个很好的时机,因为它与产品管理在根本上是对齐的。
数据产品管理
当你开始构建一个解决方案时,目标是通过一个立即可用的最小可行产品(MVP)解决方案上线,并在未来一段时间内定期发布新功能。理想情况下,至少应该遵循以下步骤:
-
指定产品经理:每个解决方案应该有一个指定的产品经理来“拥有”该解决方案。产品经理应该是该解决方案的专家,并对解决方案的质量和性能负责。就像你在传统技术产品中看到的一样,这个人最终要为产品负责,不管发生什么。
-
利用功能待办事项列表并进行优先排序:收集所有利益相关者请求的功能和那些需要改进数据产品的功能。根据影响和需求对功能进行优先排序。
-
制定路线图:每个产品都应该有一个路线图,其中的功能会随着时间的推移进行迭代发布。对于利益相关者来说,应该清晰透明地了解他们能期望什么,并且什么时候能看到与数据产品相关的成果。
-
迭代交付:如你的路线图所示,数据产品应该有明确的、随着时间推移而迭代交付的计划。这个路线图不应“结束”——你应该采用一个持续改进的模式。
-
使用户能够使用:在交付时,一定要通过培训使用户能够充分发挥产品的潜力。
-
重复:因为你正在部署一个产品,所以你应该不断地重复这个循环,直到产品退役为止。
因为你的目标是快速将解决方案投入生产,并实现快速的成果,所以要专注于交付最小可行产品(MVP),让你的利益相关者尽可能快地获得价值。利用前面的步骤来实现你的完整解决方案,并为未来的增强功能做好准备。不要让完美成为良好的敌人;要紧急交付。
产品与非产品解决方案
一旦你看到这种方法的有效性,可能会想要将产品管理思维应用到所有的数据能力和解决方案中。然而,并非所有的都应该这么处理。容易被这种模型吸引,并想把它应用到所有事情上,但这也有代价:将产品经理和工程团队对接到每个产品上是无法无限扩展的。
提示 |
---|
与团队明确什么构成数据产品与什么是服务,什么仅仅是仪表盘或商业智能指标非常重要。很容易过度倾向于产品管理,所以明确你将如何处理解决方案是一个重要的早期步骤。 |
基本标准
为帮助团队保持客观,你应该为公司创建基本标准,用来定义什么构成产品、服务或资产。为了帮助你入门,我已经列出了你可以作为起点的非常基本的标准:
产品 | 服务 | 资产 |
---|---|---|
将持续获得支持。将持续交付。需要新特性或功能。 | 为他人提供管理数据或生成分析和洞察的能力。 | 单一交付物,已经生成并使用。 |
| 以下是一些示例:
-
预警系统
-
购买历史系统
-
客户健康评分
| 以下是一些示例:
-
数据治理政策
-
数据目录
-
数据质量工具
| 以下是一些示例:
-
企业度量指标
-
收入仪表盘
-
客户流失
|
表格 13.4 – 各种数据解决方案的标准
在我部署此模型的第一个组织中,我们回顾了我们所做的每一件事,无论它是一个简单的仪表盘、一个策划的数据集,还是一个完整的解决方案,并确定每个解决方案属于哪一个类别。仅仅通过这项练习,我们就淘汰了许多仪表盘,意识到它们不仅不是产品,而且根本没有被使用。这让我们更加清晰地知道了我们需要做什么,而哪些工作完全可以停止。从那里开始,我们确定了哪些解决方案是真正的产品,并可以开始迭代快速的成功。
产品文化
当你专注于通过迭代交付实现快速胜利时,一个好的最佳实践是识别并指定一个人来定义你团队的产品管理最佳实践。这个人将定义前述标准,建立产品路线图评审的论坛,管理冲刺过程,并与工程团队合作,使产品和工程目标保持一致。通过定义这些期望,你将开始建立产品管理的文化。根据公司和数据团队的规模,这可能是一个兼职角色,也可能是一个完整的团队。
培训
你需要定义产品管理的要求(无论是针对快速胜利还是持续的产品管理)。特别是如果这个概念对你的公司或团队来说是新的,你将需要花时间进行培训。有一些专注于数据产品管理的在线课程,可以作为一个不错的起点。如果你发现你需要为公司定制一个培训计划,你可以自行制定。没有单一的方式来完成培训。最重要的是评估团队和公司的需求,并相应地进行培训。现在我们已经讲解了如何建立快速胜利并通过一些示例进行说明,我们需要专注于势头。
通过持续交付模型建立势头
快速胜利不仅仅是你在工作初期创造和交付的东西——它们恰恰相反。你应该创造快速胜利来建立势头,然后随着时间的推移保持高效交付。创造势头的最佳方法是通过制定持续 交付模型。
持续交付模型
持续交付模型使团队能够进一步交付每个解决方案,通过采用之前讨论的产品思维方式,并使用相同的模型来识别和交付新的快速胜利机会。该模型适用于单个解决方案以及整体过程,这使得在团队中部署变得更加容易。对于工程师来说,这可能看起来像一个敏捷交付模型,它就是根据这个模型构建的。对于非工程师来说,这是一个向我们的技术同行学习并将他们的流程更广泛地应用到整体解决方案中的机会。下图提供了持续交付模型如何运作的可视化表示。请注意,这个模型没有终点,而是应该继续进行,只要数据产品在生产中并被利益相关者使用。
图 13.2 – 建立势头飞轮 – 持续交付模型
我们将在以下小节中探讨模型的每个阶段。
输入
在团队层面,您应该创建一个流程和机制,收集并记录所有您将要构建的解决方案,无论其大小。您可以使用像 Jira 或 Asana 这样的工具,也可以使用像电子表格这样简单的工具。无论您使用什么工具,都要确保记录下所有大小的创意。
在解决方案层面,您需要捕捉构建/维护的每个单独解决方案所需的新特性或更改。由于该模型本质上是持续的,您应持续评估改进、新功能和修复。
优先级排序
在团队层面,您应该审查已经记录在待办事项中的解决方案,以便进行优先级排序。理想情况下,您应定义一个优先级框架。它可以简单也可以复杂,以适应您的业务需求。然而,我发现简单的解决方案往往更具优雅性,例如以下内容:
-
影响:低/中/高
-
成本/资源:低/中/高
看起来很简单,简单有时就是最好的。要在解决方案层面进行优先级排序,您只需按优先级排序这些解决方案,以便快速影响业务。这个优先级框架可以帮助您根据资源情况识别应该优先处理哪些解决方案。例如,如果某人有一周的时间,而一周的工作量对您的组织来说被视为“低”成本,您可能会在列表中寻找一个低成本、高影响的解决方案来进行下一步工作。
在解决方案层面,您可以使用类似的方法来构建功能层面的优先级排序,例如以下内容:
-
影响:低/中/高
-
成本/资源:小时/天/周
您可以使用实际预计完成功能所需的小时数(例如:2 小时或 36 小时)。这也将帮助您为每个创建的解决方案优先排序功能待办事项。
有用提示 |
---|
在团队层面和解决方案层面,这种优先级排序方法还可以帮助您识别那些可能不被视为“快速”交付的工作。也许这个过程会帮助您识别更大规模的需求,例如本书第二部分中所涵盖的内容。 |
构建路线图并对功能进行对齐
在团队层面,一旦您制定了优先级框架,您应该构建一个集成的路线图,列出团队将继续交付的小型快速成功项目。这一视图将帮助您的团队了解并理解正在交付的内容。通过为利益相关者提供您团队能够推动的微小时刻,您将令利益相关者感到满意,同时也会增强团队在高效交付有影响力工作的能力的信心。这将激励您的团队寻找更多的快速成功案例,从而产生更多的动力。
在解决方案层面,你应该为你的快速获胜项目构建一个简化版的发布视图。这个视图不仅要与参与解决方案的个人共享,也要与利益相关者共享。通过展示这些内容,他们将更好地理解他们将能够使用的功能和/或功能,以及何时能够使用。确保不仅仅提到哪些内容可以使用,还要解释这些内容能帮助他们在业务中做什么(例如,客户健康评分可以帮助客户成功团队主动联系客户,通过改进的客户体验和更高的 NPS 分数让客户满意)。
构建/工程/分析
在团队层面和解决方案层面,简单来说,这一步骤就是执行你的计划。高质量地交付解决方案。
交付
在团队层面,这是向利益相关者社区展示已交付内容的好时机,可以通过你的企业数据委员会或理事会,每季度一次,展示已交付的内容。根据利益相关者的意愿,让他们在这个论坛上展示他们在获得你团队交付的解决方案后能够做的事情,这对利益相关者来说可能是非常有影响力的。
在解决方案层面,构建解决方案(例如仪表盘、整理后的数据集或新管道)后,你应该将这个解决方案交付给你的利益相关者。不要忘记向他们展示他们能用这个解决方案做什么,以及如何使用它。征求他们的即时印象和反馈。
重复/迭代
在团队层面,继续生成创意,遵循你的需求处理流程,并通过持续交付模型迭代以产生影响。这也是一个很好时机,可以通过快速获胜流程的结果来总结你团队所创造的影响。考虑追踪节省的时间、增加的收入、节省的成本等。尽量将这些信息保持在最精细的层级,以便你能提供详细数据。然而,汇总的数字可以迅速增长,以展示团队的价值。
在解决方案层面,交付后,你应该收集来自交付步骤的反馈和意见,并从需求处理开始,重复整个飞轮过程。询问他们需要哪些额外的功能或特性,并通过这个周期继续交付。只要解决方案还存在,这个过程应该持续进行。一旦解决方案不再需要或使用,便可以退役,但在此之前,继续遵循这一持续交付模型以产生影响。
跟进
这可能是显而易见的,但你必须履行在这些快速成功中的承诺。如果你没有兑现它们,那就不能算是成功。通过兑现对利益相关者的承诺,你开始建立信任。如果你发现自己无法交付,或者在解决方案构建过程中,发现其复杂程度远超预期,及时与利益相关者沟通。不要回避关于快速成功过程的成功或失败的消息。并非一切都会成功,这也是可以接受的。
保持透明,与利益相关者合作,并在这些过程中真正地与他们合作,保持可见性,将继续建立信任。你可以考虑邀请利益相关者与你共同开发,增加业务整合。如果你的团队是新加入公司,或者有大量新成员加入,这种方法可能会非常有帮助。庆祝每一次成功,无论大小,也要庆祝失败。当团队成员迅速意识到某个方案行不通并停止工作(例如,快速失败),这也是值得庆祝的。它将创造一种创新文化,在这里尝试和失败是安全的。失败不是失败,它是成功的一部分。一定要鼓励团队这样做,以保持团队的动力。
结论
在你为影响力建立快速成功文化的同时,你正在为你的团队打造一个交付机器,帮助建立你作为一个可靠且富有创新精神的团队的声誉。大多数组织并没有建立这种文化,他们总是在寻求大型项目,却不愿从小做起。没有理由不能同时做这两者。通过投资于快速成功和交付这些成功的过程,你可以迅速积累势头。通过采纳持续交付模型和数据产品思维,你的团队能够以可预测、可扩展的方式交付增量和强大的价值。
注意捕捉如何衡量你的快速成功的质量和影响力,以便你能快速有效地讲述你的价值故事。能够快速有效地量化你对公司影响的能力具有巨大的力量。这将吸引你的利益相关者,提升团队的影响力,并为团队的服务创造额外的需求。在这个模式下,大家都能获益。
强有力的开局是强大数据组织的关键指标,也是数据和分析领域强大领导者的标志。尽早并持续地积累势头将带领你和你的团队走向成功。如果你需要一些想法,可以考虑组织团队一起集思广益。无论做什么,都不要停滞不前。继续交付,专注于任何规模的高质量成果。你将建立一个无可匹敌的交付模型。下一章将帮助通过自动化的引入,推动更快的成功,进一步构建你的良性循环影响力。
深入阅读
CDO 2.0 – 首席数据官角色的演变:www2.deloitte.com/us/en/insights/industry/public-sector/chief-data-officer-government-playbook/2023/chief-data-officer-government-outlook.html
第十四章:数据自动化带来影响力和更强大的结果
传统的数据治理流程可能会让人感觉像是与业务分离的程序。随着今天现代商业模式的步伐,治理必须融入流程中,这就需要一种新的思维方式来看待数据治理。在现代数据治理团队中,逐渐减少了过多的委员会工作,更多强调将数据治理设计嵌入到流程中。我将这种新的治理模式称为设计驱动的数据治理。
这种新的思维方式要求数据治理专业人员在进行治理活动时要以不同的方式思考和行动。设计驱动的数据治理要求专业人员从一开始就考虑如何将数据治理能力嵌入业务流程中,而不是在流程已经建立后再进行补充。我在数据行业的经验越多,我越能看到数据的需求以无法等待治理“发生”的速度在增长。我们作为一个行业现在必须进化。
从庞大的企业数据生态系统中提取可操作的洞察力,以满足业务需求的速度,也需要一套强大的工具或数据自动化能力。本章将深入探讨这套变革性的能力,为你提供知识和理解,帮助你利用自动化数据流程的潜力。这是支持并实现设计驱动数据治理的关键设计组件和能力。
想象一个数据流动无缝、用户信任所接收到的信息、洞察力轻松显现的世界。自动化是一个可以推动数据治理交付的杠杆。通过自动化重复性的手动任务,我们将团队从繁琐的数据移动和手动操作中解放出来,释放出时间和资源,专注于更高级的分析和战略决策。
本章涵盖以下主题:
-
什么是自动化?
-
什么是数据自动化?
-
数据自动化的类型
-
数据自动化的好处
-
如何确定使用哪种类型的自动化
-
第三方数据增强
-
由数据自动化驱动的数据解决方案示例
在深入探讨具体内容之前,让我们先了解一些基本的关键定义。
什么是自动化?
自动化广义上指的是利用技术来执行任务,减少人类干预。它涵盖了多种技术和方法,并应用于不同的领域。自动化的关键方面包括以下几点:
-
减少人工参与:目标是尽量减少团队成员手动执行任务的需求,从而提高效率和生产力。其次的好处是团队成员的满意度,我们将在本章后面讨论这一点。
-
技术的使用:自动化依赖于各种技术,从简单的工具和脚本到复杂的人工智能(AI)算法。
-
预定义的指令或流程:自动化任务通常由预编程的规则、指令或决策标准指导。这可能包括如在第十章中定义的主要数据管理算法。
除了本章所涵盖的自动化类型外,还有许多其他类型的自动化。为了本书的目的,我们将重点关注数据自动化功能。本章中列出的功能专门选择用于增强您的数据治理能力和数据治理程序,因此让我们通过深入了解数据自动化的基础知识以及数据自动化如何应用于数据治理来开始更深入的探讨。
什么是数据自动化?
在深入探讨这一主题之前,我们先从一些基本概念开始了解什么是数据自动化。数据自动化是一个广泛的术语,涵盖了用于自动处理数据任务的各种方法。数据自动化是自动化技术的一个具体子集,旨在通过最小化人工干预来执行数据治理。这可以包括从数据录入和数据清洗到更复杂的技术,如分析和报告等一系列技术。我们将在接下来的几页中深入讨论具体的数据自动化类型,但现在,让我们关注数据自动化给数据治理带来的价值和好处。
数据自动化的类型
本节中包含的所有数据自动化技术应广泛应用于本书第二部分中列出的所有能力。数据自动化改变了您处理信息的方式,并且是一个互补的解决方案套件,能够解锁数据能力中的额外价值。请将本章的内容视为对您目前为止所学内容的补充。
通过将数据自动化应用于数据治理功能,您可以为结果带来指数级的好处和速度,本质上,您是在企业范围内将嵌入式数据治理设计到数据治理程序中。我们将在本节中深入探讨数据自动化的多种类型。
数据集成
数据集成是指在没有人工干预(或显著减少人工干预)的情况下在系统之间移动数据,这打破了数据孤岛,并为用户提供了更无缝的分析体验。数据集成将来自多个来源的数据合并为一个统一的视图。通常,集成数据的过程包括一系列步骤(称为 ETL):
-
数据提取:从一个或多个来源(如网站、数据库和电子表格)收集数据。
-
数据转化:这可能包括清洗、格式化或标准化数据,以确保它在提取数据的各种来源之间保持一致性和/或可比较性。您可能需要解决格式问题、不一致性和空值,并需要构建解决冲突数据的流程。
-
加载数据:这包括将转化后的数据放入目标源(例如数据湖、数据仓库或其他类型的源,如报告)。
数据集成的目的是将之前被孤立或困于其他系统中的数据集合在一起,有时这些数据格式各异。这些现有的数据孤岛使得分析存储在不同位置的数据变得困难(这有时被称为数据碎片化)。通过将数据集成到共同的格式和位置,企业可以实现以下目标:
-
改进数据质量。
-
从更大、更全面的数据集中看到并利用更深层次的洞察。
-
改进决策。
-
提高运营效率。
以下是一些例子:
-
提供一个集中的数据源,用于商业智能。
-
通过使用统一的数据集,提高准确性和性能,从而实现机器学习模型。
-
通过整合多个客户数据源,在客户关系管理工具(CRM)中获得客户的统一视图。
数据集成示例
不再需要手动从一个系统复制粘贴数据或花费数小时在电子表格中计算数字,数据自动化使你能够设置ETL 过程,帮助你完成繁重的工作。这些 ETL 过程遵循预定义的指令,确保数据流畅传递,任务自动执行,洞察力轻松获得。
在一些 CRM 环境中,你可能会发现多达 80 到 100 个集成,旨在丰富客户的统一视图。当发生收购时,客户数据存储在多个 CRM 中,集成可以在系统集成之前作为临时解决方案,将客户数据整合在一起,帮助企业提前查看所有客户信息,避免在系统集成和淘汰旧系统时的繁重工作。
总体而言,数据集成是依赖数据做出明智决策、提升运营效率和获得竞争优势的组织的关键过程。在当今的经济环境下,很难找到一家不依赖数据的公司,但根据我的经验,有很多机会可以更好地集成数据,从而提高洞察时间和改善运营。
数据转换。
数据转换是清理、格式化和操作数据的过程,目的是通过使用(更)标准化的格式来提高数据的准确性和可用性。数据转换将数据从一种格式或结构转换成另一种,使其更易使用。数据转换是数据管道管理中的一个关键步骤,通常是数据集成工作的一部分。数据转换(和集成)工作通常由数据工程师为运营或分析服务执行。
数据转换的目的是将数据转换或丰富数据,使其对特定目的或一组目的更有用。根据你正在解决的具体需求,有多种方式来转换数据。以下是一些例子:
-
数据清理:去除错误、不一致性和重复项。
-
标准化:推动数据的一致性(例如,日期从 1/1/2011 到 2011 年 1 月 1 日)。
-
创建新字段:通过添加或汇总数据到新字段中来创建派生数据(例如,总和)。
-
聚合:通过将数据分组来总结数据(例如,月度平均销售额;月度总销售额)。
-
过滤:基于一系列过滤条件提取数据子集(例如,当前年度销售额)。
数据转换示例
最常见的数据转换类型之一是使用主数据管理(PDM)技术。如我们在第十章中讨论的,PDM 是一项我在三家公司实施的能力。通常,通过将多个客户数据来源整合在一起,我已经看到数据质量有了显著改善,这对公司能够依赖并使用客户信息以提高收入、降低成本和改善洞察力产生了连锁反应。在所有情况下,分析也有所改进;然而,主要受益方是业务。不要忘记关注团队之外的影响。在数据转换的情况下,业务通常从改进数据转换的速度和质量中受益最大。
数据分析与洞察
数据分析与洞察:代表着自动化重复分析任务的能力,如生成报告和识别模式(例如,趋势),以推动决策制定。自动化这些任务能从数据中提取知识和洞察,节省数据分析师和数据科学家的时间和资源。数据分析与洞察中有许多可以自动化的组件,包括以下内容:
数据获取与准备:该过程利用工具自动从各种来源(系统、API 和电子表格)提取数据,从而减少传统手动操作的工作量,并使容易出错的过程能够一致且规模化地完成。该过程还可能包括转换,以自动化数据清理(例如,纠正不一致性和格式化),以改进数据,便于进一步分析。
数据探索与分析:工具可以识别数据中的模式和趋势,以及通常通过手动分析工作识别的异常值。这还可以帮助数据分析师发现那些常常被忽视或深埋在数据中的洞察。大型组织的数据集规模使得人工发现趋势变得困难,除非使用较长的时间框架和昂贵的工具。数据自动化可以解决这些挑战,在历史上规模曾是一个难题。
洞察生成与沟通:数据自动化工具可以生成自动化报告并创建可视化(例如,Tableau 仪表板),以便以一种对最终用户更易于探索和审阅的格式呈现洞察。
数据分析和洞察数据自动化的目的是加速并提高效率,这些工作曾经依赖于高价值的资源来完成。这个过程使得数据分析可以集中于更有价值的工作,从而让数据分析师和数据科学家能够从事更多高价值的任务。
以下是一些示例:
-
自动化报告和洞察,让分析师可以专注于解读结果
-
减少数据处理中的人为错误,让分析师对结果的可靠性有更高的信心,从而提升对数据的信任
-
使数据洞察的民主化成为可能,让更多的人能够以业务速度访问和使用洞察
数据监控和警报
数据监控和警报是利用技术持续观察和分析数据源的过程,并在特定条件满足时自动触发警报。这一功能使组织能够在问题变成重大问题之前及时发现问题。监控包括从数据源(例如,数据库、API 和网络设备)收集信息,并使用工具跟踪非常具体的指标(例如错误率、性能指标,如处理时间,或特定数据质量阈值,如完成百分比),并实时或定期分析数据(例如,每晚)。这种过程的另一个术语是数据可观察性。当监控满足预定义的阈值时,会触发警报;然后,警报会通过电子邮件、短信或内部通知(例如,Slack)传送。
以下是一些示例:
-
服务器故障
-
安全威胁
-
处理中的错误
-
订单的突然下降
-
可疑活动(即欺诈)
数据清洗
数据清洗,识别和修正数据中的错误和不一致性,是确保分析所需的可靠和可信信息的关键步骤。幸运的是,这一繁琐的任务可以显著实现自动化,从而节省宝贵的时间和资源。
数据清洗自动化的类型
有几种数据清洗自动化方法代表了改善数据质量的常见技术。这里我将概述一些常见类型,但请注意,每种类型都需要独立的章节来深入讲解其技术实现细节。从高层次来看,以下是数据清洗时的各种自动化类型:
-
基于规则的自动化:
-
定义规则:根据数据格式、值和关系,建立清晰的规则来识别和解决常见错误
-
数据分析工具:分析数据以识别模式,并根据这些模式定义规则
-
此类示例:标准化日期格式、去除异常值和标记缺失值
-
-
模糊匹配:
-
识别相似记录:匹配具有轻微差异的记录,如拼写错误或缩写
-
数据去重:基于模糊匹配算法消除重复记录
-
此类示例:合并重复的客户记录和识别不一致的产品名称(例如,PDM 功能)
-
自动化清洗的一些好处包括:
-
提高效率:通过自动化重复的清洗任务节省时间和资源
-
提高准确性:减少人为错误,确保数据质量一致
-
可扩展性:轻松处理大型数据集和复杂的清洗需求
-
更好的洞察力:基于清洁数据构建更可靠和值得信赖的模型
数据清洗自动化的注意事项
在为你的使用案例选择自动化数据清洗类型之前,评估选项时应考虑以下几点:
-
数据复杂性:复杂的数据和多样的错误可能需要人工干预或高级算法
-
规则开发:定义有效规则需要了解你的数据和常见错误
-
数据安全:确保所选的解决方案符合数据安全和隐私法规
从自动化简单的清洗任务开始,随着信心的建立逐步扩展。通过仔细选择和实施数据清洗自动化,你可以释放数据的真正潜力,以便做出明智的决策。
高级数据自动化功能
还有一些额外的高级功能可以在上述常见的数据自动化功能之外进行探索。除了这些核心类型外,先进的功能包括数据清洗、机器学习和 AI 自动化,以及机器人过程自动化(RPA)。这些高级功能非常适用于那些标准化和可重复的功能。从高层次来看,有两种特别适用于数据自动化的能力:
-
机器学习和 AI 自动化:利用 AI 算法进行更深入的分析、预测和数据驱动的推荐。一些示例包括:
-
训练算法:在标注数据上训练模型,以更高的准确性和适应性识别并纠正错误。
-
监督学习:在包含正确和错误示例的标注数据上训练模型。
-
无监督学习:利用算法识别异常和模式,提出潜在错误。
-
这些的示例:识别并纠正拼写错误,基于其他数据点预测缺失值。
-
-
机器人过程自动化(RPA):自动化直接与用户界面交互的任务,如在 Web 应用程序中的数据录入。
这些先进的数据自动化能力要比本章讨论的内容更为强大和复杂,甚至可能需要一本独立的书籍来详细探讨。现在,要了解这些额外类型的存在;一旦你完成了本章所述的数据自动化实施,评估这些功能是否适合你所在的组织将会很有帮助。接下来,我们将深入探讨数据自动化的好处以及如何衡量这些好处。
数据自动化的好处
在自动化方面,收益不仅仅局限于效率。效率是一个很好的基本原则,但数据自动化使我们能够做更多的事情。在构建业务案例时,这些好处可以并且应该被量化,当你意识到它们的价值时,你应该进行报告,以展示数据自动化投资的投资回报率(ROI)。常见的好处包括以下内容:
-
确保准确性和一致性:数据自动化消除数据处理中的人为错误,提供可靠且值得信赖的信息。
- 示例:自动化营销数据的丰富工作,减少错误并每天产生可比较且一致的结果。
-
获得更深层次的洞察:大规模分析庞大的数据集,揭示对人眼不可见的隐藏模式和趋势。
- 示例:自动识别产品购买与客户人口统计数据之间的隐藏模式,例如,购买雨衣的顾客在天气预报预测 48 小时内降雨时,往往也会购买雨伞。因此,公司可以通过将雨伞放在店铺前端来促进更高的购买率。
-
改善决策:通过自动化数据分析和报告推动数据驱动的决策,提供实时洞察以指导行动。
- 示例:在数据湖中构建数据可观察性,当数据量低于预期(例如,下降 5%或更多)时进行警报。
-
降低成本:简化工作流程和优化资源分配,从而实现显著的成本节省。
- 示例:自动化客户记录的数据清洗以加快处理速度,进而实现 CRM 系统中的账户匹配。
-
提升灵活性:通过自动化数据收集、分析和报告,更快地响应变化的市场条件。
- 例子:日常销售报告的自动化使得数据分析师能够将更多精力集中在异常检测上。
-
改善团队成员体验:通过自动化数据流程和基本报告,团队成员能够将更多精力集中在更有趣且高价值的活动上。
- 例子:在自动化日常销售报告后,数据分析师能够专注于异常检测,他们能够深入挖掘异常并为特定客户群体发现额外的销售机会,从而增加收入机会。
除了识别数据自动化的收益外,衡量收益的影响至关重要,这样您就能衡量实施数据自动化技术在数据治理计划中的投资回报。当您在数据计划中构建这一能力时,请确保利用在第五章中学到的知识。我们将在接下来的部分中继续基于所学内容,特别是数据自动化方面。
衡量收益
有几种类型的衡量方法需要考虑,包括定量和定性衡量。请记住,定量衡量基于数字,更容易直接衡量,而定性衡量则基于体验,且较难直接衡量。这两种衡量方法对于您的受众来说都很重要,因为它们以不同的方式造福您的利益相关者,包括他们在贵组织工作的体验。
定量衡量的例子
一些定量衡量的例子包括以下内容:
-
客户转化率提升:在实施基于下一个最佳行动模型的数据驱动产品推荐后,跟踪在自动化实施前后,购买产品的客户百分比。
-
收入增长:在实施数据自动化功能前后,衡量销售额的变化。务必考虑到市场趋势等外部因素(根据需要进行调整)。这方面的例子包括个性化营销活动、优化的产品布局或动态定价(例如,机票定价)。
-
成本降低:衡量通过自动化任务(如数据移动和数据清理)节省的人力小时数,计算节省的小时数乘以包含福利和奖金的基本工资率。可以以周、月或年等时间跨度为单位进行衡量,减去自动化的成本。
定性衡量的例子
一些定性衡量的例子包括以下内容:
-
客户满意度调查:通过进行客户满意度调查,您可以识别数据自动化功能在改善客户体验方面的有效性。数据自动化实施后,客户满意度的提升可以表明客户体验的改善。
-
员工调查:通过在数据自动化(例如分析师、业务用户等)受益者完成工作前后进行员工满意度调查,可以帮助识别和评估数据自动化对员工体验的影响。当重复性任务得到了良好的自动化时,你应该预期工作满意度会有所提高。
-
品牌声誉分析:通过监控在线评论和社交媒体,你可以确定品牌形象在客户情绪中的影响。
综合来看——定性和定量衡量标准。
将定性和定量衡量标准结合起来,应该能帮助你计算数据自动化活动的投资回报率(ROI):
净收益 / 总成本
这里,净收益(包括增加的收入、成本节省和员工满意度提高)除以总成本(包括投资、时间等)。这为评估数据自动化能力实施的总体收益提供了一个财务指标。
重要提示
在完成工作之前,提前定义衡量标准。这将比事后判断成功时,提供一个更客观的项目成功计算。
通过结合定量和定性数据,企业可以全面了解数据自动化在特定案例中创造的价值。这种多维度的方法允许对商业指标和客户体验的影响进行更全面的评估。
在下一部分,我将带你了解如何评估之前解释的数据自动化类型,并定义一个可以帮助你选择适合自己需求的数据自动化能力的过程。
在我们共同探讨这一决策过程时,你将掌握以下知识:
-
识别你的自动化需求:评估你当前的数据挑战,确定最合适的自动化解决方案。
-
选择合适的工具:浏览各种数据自动化工具,选择最符合你需求的工具。
-
有效实施:了解成功实施的关键考虑因素,确保顺利采纳并最大化影响。
在我们进入下一部分时,最好心里有一个实际的用例,以便你能够将这个过程与之进行对比评估。
如何确定使用哪种类型的自动化。
有一个相对简单的过程来识别你的需求,选择合适的工具和技术,并有效地实施它们。我们将详细讲解如何确定使用哪种类型,并如何为你的公司执行这一过程。
第一步——明确你的目标。
从探索问题开始。一些关键问题包括:
-
你想要达成什么目标?
-
什么是有效的,什么需要保留?
-
当前面临的挑战是什么?
-
哪些结果表明解决方案成功?
这些探索性问题可以帮助您确定是否需要提高效率、改善数据质量,或是否需要更深入的结果,例如发现更深层次的见解或满足监管要求。也许您会发现,您的团队成员在低价值工作上花费了过多时间,例如手动清理数据,或者您在主动识别问题时遇到困难。这一步将帮助您识别这些目标。
第二步 – 识别现有流程和痛点
接下来,开始探索当前状态。向您的团队和利益相关者提出以下问题:
-
当前的流程是什么?
-
我们是否已经审查了数据流,是否存在明显的低效?
-
当前的系统和数据集是什么?(例如,结构化、非结构化、数据库或 API)
-
在流程中,哪些步骤是手动的?
一旦您了解了当前状态,您就可以开始制定具体的步骤来解决问题。
第三步 – 对问题陈述达成一致
如同在步骤 1 和步骤 2 中描述的那样,您最终是在朝着一个已达成一致的问题陈述(或多个问题陈述)工作,这些陈述定义了当前的状态。在定义步骤 4 的解决方案路径之前,确保对问题达成一致是至关重要的。如果各方在问题上没有达成明确一致,那么在后续步骤中,尤其是在确认解决方案并按照设计进行时,您更容易遇到问题。
第四步 – 对方法和投资回报率(ROI)计算达成一致
在(或同时)对问题陈述达成共识后,您应该至少提出一个(理想情况下是两个或三个)解决方案选项。这一对齐过程可能包括数据自动化技术的组合,并且可能在复杂性和解决方案的范围上有所不同。在以下示例中,问题陈述发挥了作用,因为如果大家普遍认为报告不是问题,那么自动化报告的支持和资金就不太可能获得:
方法 A | 方法 B | 方法 C |
---|---|---|
自动化数据管道并实现数据监控和警报功能。 | 自动化数据管道并实现数据监控和警报功能。 | 自动化数据管道并实现数据监控和警报功能。 |
分析没有变化。 | 自动化基础分析工作。 | 自动化基础分析工作。 |
报告没有变化。 | 报告没有变化。 | 自动化每日报告流程。 |
表 14.1 – 方法提案示例
数据自动化能力的示例菜单
以下列表代表了一系列数据自动化能力的“菜单”,可以从中选择:
-
数据集成:如果您需要定期在不同系统之间移动数据,无论格式或来源如何,请使用此选项。
-
数据转换:如果你的数据在进一步使用之前需要清洗、格式化或处理,请选择此项。
-
数据加载:如果你需要自动化将转化后的数据存入目标系统的最后一步,请选择此项。
-
数据分析与洞察:如果你想自动化重复的分析任务并生成无需人工干预的洞察,请选择此项。
-
数据监控与警报:如果你需要根据特定的数据条件主动接收通知,以便快速识别和解决问题,请选择此项。
-
机器学习和 AI 自动化:如果你想超越简单的规则,利用 AI 进行更深层次的分析、预测和数据驱动的推荐,请选择此项。
投资回报率
如果你能解释这些提案的投资回报率(ROI),这将为决策过程增加另一层深度。在这个阶段提供每个解决方案的提议 ROI,能直接揭示可能解决方案的价值,这往往会导致与在项目完成后严格计算 ROI 时截然不同的结果。在此示例中,你可能希望为每一行添加 ROI 计算:
方法 A | 方法 B | 方法 C |
---|---|---|
当前资源小时数 * 人员成本的手动支持,减去新成本:资源小时数 * 维护自动化管道的人员成本(实施后)= 自动化的成本节省。考虑:资源小时数 * 自动化的人员成本(一笔费用) | 当前资源小时数 * 人员成本的手动支持,减去新成本:资源小时数 * 维护自动化管道的人员成本(实施后)= 自动化的成本节省。考虑:资源小时数 * 自动化的人员成本(一笔费用) | 当前资源小时数 * 人员成本的手动支持,减去新成本:资源小时数 * 维护自动化管道的人员成本(实施后)= 自动化的成本节省。考虑:资源小时数 * 自动化的人员成本(一笔费用) |
分析没有变化。 | 当前资源小时数 * 人员成本的手动支持,减去新成本:资源小时数 * 维护自动化管道的人员成本(实施后)= 自动化的成本节省。考虑:资源小时数 * 自动化的人员成本(一笔费用) | 当前资源小时数 * 人员成本的手动支持,减去新成本:资源小时数 * 维护自动化管道的人员成本(实施后)= 自动化的成本节省。考虑:资源小时数 * 自动化的人员成本(一笔费用) |
报告无变化。 | 报告无变化。 | 当前资源时间 * 人员成本的手动支持减去新成本:资源时间 * 维护自动化管道的人员成本(实施后)= 自动化节省成本。考虑因素:资源时间 * 自动化的人员成本(一次性成本) |
将方法 A 的每一行节省成本总和加起来 | 将方法 B 的每一行节省成本总和加起来 | 将方法 C 的每一行节省成本总和加起来 |
将自动化项目的成本总和(第 1 行)加起来 | 将自动化项目的成本总和(第 1 行 + 第 2 行)加起来 | 将自动化项目的成本总和(第 1 行 + 第 2 行 + 第 3 行)加起来 |
表 14.2 – 自动化项目价值计算流程
这个过程成为项目的预期投资回报率(ROI)。你应该将其作为“工作假设”进入项目。在完成步骤 6 后,你将衡量实际结果以确定项目的投资回报率(ROI)。不要让这个阻止你在项目开始时与利益相关者分享这些假设。即使结果与你的预期有所不同,这个过程也将建立透明度和信任。你的利益相关者通过提前分享模型,可能会为你的 ROI 建模提供宝贵的意见。
需要考虑的额外因素
你可以考虑许多因素,但以下几个通常是评估你特定项目或解决方案时最重要的:
-
可用预算:你能在这个项目上投入多少财务资源?
-
资源配备:你是否有足够的时间和人员来完成这个项目?
-
技术专长:你拥有的资源(在职人员)是否具备完成这项工作的技术专长,还是需要通过外部资源来补充?
-
安全性或合规性:是否有特定要求需要遵守,以确保符合法律、法规或客户合同义务?
-
可扩展性:如果你的公司正在成长,或者预期数据量会增长,这个解决方案能应对未来预计的增长吗?还是你将来需要一个新的解决方案?
在这个投资回报率(ROI)示例中,请记住,通常会将多种类型的数据自动化结合起来,以优化结果。如果你正在考虑上一部分中提到的步骤 4 的示例,采用方法 C 将实现最大的结果。
步骤 5 – 执行
尽管这个流程中的步骤通常需要最长时间,但它相对直接。在这个步骤中,你执行你所选择的方案。如果在项目推进过程中发现需要调整计划,进行调整即可。我的建议是,当你做出调整时,要保持透明,并将其作为你与项目利益相关者进行持续沟通和报告的一部分。
步骤 6 – 测量和报告
完成后,根据您在第 4 步中创建的模型计算结果。任何需要重新评估或重新设计模型的偏差(与预期不符)都是可以的;只是要明确为什么会发生这种情况,以及对测量结果的影响。您最不希望发生的事情就是完成这项工作后,因未能透明地进行测量和报告而损害信任。现在您已经完成了这六步过程,我将解释一些额外的自动化选项,您可以购买并将其整合到您的环境中,而不是自己构建它们。
第三方增强
一种非常常见的数据增强方式是使用第三方数据增强服务。第三方指的是使用外部数据。这种类型的数据通常是从外部数据供应商处购买,然后添加到贵公司创建的数据(即第一方数据)中,以创建一个更丰富、更高质量的数据集。
当您考虑使用第三方数据源时,请考虑以下因素。并非所有数据增强都是高质量的,使用一个无法满足贵公司需求的第三方数据源,可能会降低数据质量,而非提升数据质量:
-
数据质量和准确性:确保数据可靠且持续更新
-
数据覆盖面和相关性:验证数据是否与您的特定需求和目标受众一致
-
数据隐私和合规性:检查是否符合相关的数据隐私法规
-
定价和成本模型:了解定价结构,选择符合预算的解决方案
-
安全性和集成:确保数据访问的安全性以及与现有系统的兼容性
请记住,在做出最终决定之前,评估不同的来源并比较它们的产品往往是有益的。通过仔细评估您的需求和可用选项,您可以选择最适合贵公司业务需求的第三方数据源来丰富您的数据。
重要提示
这并不是对以下部分所列(或未列)任何第三方的推荐;这仅是一个示例列表,列出了您可能听说过的第三方增强服务类型。与任何技术选择过程一样,您应评估贵公司的需求和成本/预算,并根据公司的流程做出选择。
最佳数据源将极大依赖于贵公司的需求以及您正在增强的数据类型。我提供了几种数据类型的示例,帮助您理解有哪些类型的第三方数据增强服务可用,并且提供了每种类型的示例:
-
联系信息和公司数据:
-
LeadGenius/ZoomInfo:提供高准确度和实时更新的全面 B2B 联系和公司信息
-
Clearbit:提供电子邮件地址、域名和公司数据的增强,包括公司特征、技术特征和社交媒体洞察
-
Dun & Bradstreet: 提供具有全球覆盖的丰富商业数据,包括财务信息、信用报告和商业关系
-
-
人口统计和 生活方式数据:
-
Experian: 提供消费者信用、市场营销和风险分析数据,以了解个人的年龄、性别等人口统计特征以及购买行为
-
Equifax: 提供消费者信用报告、风险评估工具和个人层面的市场营销数据
-
Mosaic (Nielsen): 采用细分技术,根据人口统计特征、生活方式和购买行为对个人进行分类
-
Claritas (Claritas): 提供基于人口统计特征、消费习惯和媒体消费模式的消费者细分数据
-
-
位置和 地理空间数据:
-
Mapbox: 提供地图绘制、地理定位和地理空间数据服务,用地理背景丰富数据
-
Google Cloud Location Intelligence: 利用 Google Maps 数据提供关于人口统计、旅行模式和空间关系的见解
-
HERE Technologies: 提供基于位置的数据 API 和服务,用于地图绘制、路线规划和地理空间分析
-
Foursquare: 提供关于兴趣点(POI)、人流模式和基于位置数据的竞争对手分析的见解
-
-
社交媒体和 网络数据:
-
Brandwatch: 跟踪并分析与您的品牌或行业相关的社交媒体对话和在线讨论
-
Sprout Social: 提供社交媒体监听和分析工具,帮助理解受众情感和品牌提及
-
Similarweb: 提供有关网站流量、受众人口统计和在线营销策略的竞争情报
-
Buzzsumo: 帮助识别领域内的流行内容和有影响力的人物,从而指导内容营销工作
-
-
定制和 专业数据:
-
各种行业中都有大量专业的数据提供商,如医疗保健、金融和技术行业
-
针对您的行业和数据需求进行研究,发现专注于丰富您特定数据集的专业数据提供商
-
请记住,第三方数据丰富服务有成百上千种选择。您需要根据组织的需求来评估和选择这些服务。此列表旨在提供示例并帮助您入门,并不代表对任何特定第三方数据解决方案的推荐。
数据解决方案示例,基于数据自动化提供支持
现在我们已经讨论了数据自动化的类型、数据自动化的好处、如何计算数据自动化投资的回报,以及如何实施它,剩下最难的部分就是确定从哪里开始。我建议你选择一个非常手动的业务领域开始。是的,就从这里开始。通过集中精力在一个领域,你可以展示出显著的结果。如果你将数据自动化的努力分散到各个部门,可能很难感受到通过数据自动化能力实现的显著改进。通过集中精力,其他部门的利益相关者会注意到,你可以随着时间推移进入公司新的领域。
以下是设计贵公司数据自动化能力时需要考虑的 10 个战略领域:
客户领域
首先,在客户领域(每家公司都有客户,因此这可能适用于你的公司),有几个加速数据解决方案自动化的选项。考虑以下五个常见机会:
-
提升营销活动:自动化个性化电子邮件营销、A/B 测试和潜在客户评分,推动更高的参与度和投资回报率
-
简化客户入职流程:自动化数据收集、账户创建和初步沟通,使新客户的流程更加快速顺畅
-
个性化客户服务:利用聊天机器人和人工智能助手回答常见问题、解决问题并提升客户体验
-
自动化报告与分析:自动生成常规报告和仪表盘,支持跨部门的数据驱动决策
-
加速产品开发:自动化市场调研分析、客户反馈整合和竞争对手监控,推动高效的产品开发周期
运营领域
像客户一样,每个组织都有管理业务的运营。考虑通过以下数据自动化用例优化运营:
-
优化订单处理:自动化订单接收、库存检查和发货管理,减少错误并提高交货速度
-
优化供应链管理:自动化库存跟踪、供应商沟通和物流规划,从而实现成本效益和提升响应速度
-
改善财务管理:自动化发票处理、费用追踪和预算监控,确保准确性和及时的洞察
-
提升人力资源效率:自动化工资处理、福利管理和员工入职,释放人力资源部门的精力,用于更高层次的任务
-
增强风险管理:实施自动化的数据安全扫描、威胁检测和合规报告,确保主动的安全防护
虽然这些只是一些例子,但它们是建立数据自动化能力的良好起点。像其他能力一样,确保在你的计划中建立反馈循环和有效的沟通模式,让利益相关者理解你交付的内容,并能够将持续改进的良性循环作为标准进行建设。
结论
数据自动化是一种特定的技术,能够在你组织中已有的能力基础上进行补充。你可以使用几种不同类型的数据自动化,我们已经对此进行了介绍。通常来说,这种能力是数据工程师和数据分析专业人员为组织创造额外价值的好地方。如果传统的数据治理能力能够像骑自行车一样将你从 A 点到 B 点,那么将数据自动化能力与现有的数据治理能力结合就像是用汽车从 A 点到 B 点。这会让你走得更快、更有冲劲。然而,要小心。加速并不总是最佳答案。你必须确保自己自动化的是一个强有力的过程,否则你只是在更快速地推动问题在组织中流动。如前所述,你可以利用多种选项,包括使用第三方数据增强、实施额外的工具(如 RPA),以及通过服务改善数据清洗。考虑自动化在业务中的实际价值。
当你踏上数据自动化之旅时,记得做到以下几点:
-
确定最适合支持数据转型的自动化类型。
-
确定在哪些数据产品和解决方案中应用自动化。
-
学习如何获得对自动化解决方案的支持,需要哪些技能,并如何向领导/赞助人传达成果。
最重要的是,与利益相关者密切合作。专注于对齐期望和“好”的标准,以确保你在推动具有巨大影响力和数据可信度的结果时与他们紧密一致。并不是每个过程中的每一个步骤都适合自动化。如前所述,评估不同选项并在能够带来最大投资回报率的地方有目的地应用自动化是非常重要的。
在下一章,我将转向推动解决方案采纳的话题。在本章中,我们将继续推进到目前为止获得的经验,并讨论如何使解决方案在公司内部变得更加“粘性”或更广泛地被采纳。这有助于通过增加解决方案的使用,进一步提高你的投资回报率(ROI)。
第十五章:推动业务成功的采用
既然我们已经覆盖了数据治理是什么,如何获取支持,设计项目,基准化组织,并根据计划启动和交付,我们现在需要确保解决方案被企业使用。推动数据解决方案的采用并不是一次性活动,也不会在项目交付后结束。虽然在实施过程中应该有初步的采用,但采用是一个持续的活动,您和您的团队必须掌握这一点,以确保从数据投资中实现最大影响。
简而言之,您的长期成功与您持续提供价值的能力紧密相关。您的数据解决方案的成败取决于上线后的持续发展,但大多数团队停留在“上线”这个终点节点,未能继续迈向成功。本章将深入探讨数据治理中一个至关重要且常被忽视的方面:采用。我们将探讨为何推动数据解决方案的广泛使用对于最大化影响并实现您期望的投资回报(ROI)至关重要。
数据是您组织的命脉。各种规模和形式的企业都在收集和存储大量数据,认识到它的潜力,但不幸的是,仅仅收集和存储数据是不够的。这些数据的真正价值在于通过有效的解决方案加以释放。正如我们在本书前 14 章中所讲解的那样,您已经了解了数据治理的关键构建模块。您知道这些能力为何重要,并且知道如何与利益相关者讨论它们的价值。现在,我们需要专注于进一步推动采用,以确保长期推动业务成功。
如果采用很容易,我们就不需要专门 dedicating 一章来强调其重要性,并讨论如何推动您组织内的采用。我将详细讨论推动数据能力采用的挑战与机遇,以及影响用户愿意使用和采纳数据解决方案的关键因素。我们还将深入探讨能够帮助您在组织内培育数据采用文化的策略。
在我们开始之前,我假设您已经牢固掌握了前 14 章中概述的概念。本章仅关注先前解释过的能力的采用,假设这些能力已经在您的环境中处于“开发中”或“上线”状态,目的是探讨采用。在本章中,我将基于这一假设进行讨论,除非另有说明。
在我们结束本章之前,你将会牢固地理解持续采用的重要性,以便你和你的团队能够推动组织内核心、关键数据解决方案的无尽采用,这些解决方案有持久的生命力,即使你已经转向下一个项目、程序(甚至角色)!我们将一起定义组织成功的标准,并确保你掌握采用的基础要素。
我们将涵盖以下主要话题:
-
为什么采用很重要——如何开始
-
低采用率是昂贵的
-
为什么采用会失败?
-
如何在推动卓越采用方面取得成功
-
从失败的发布中恢复
-
部署后
为什么采用很重要——如何开始
在公司内部推动数据治理解决方案的采用需要一种多方面的方法,既要处理技术层面的变化,又要处理人类层面的变化,包括员工对变化的反应、态度以及整体组织文化。以下是一些关键的基础内容,帮助你开始构建采用策略。
从“为什么”开始
为了带领大家共同推动变革,最好从解释为什么变革是必要的开始。今天有什么问题,或者有什么事情做得不好,需要通过变革来改进?在构建信息传递时,你应该首先关注以下三个关键领域:
-
将数据解决方案与业务目标对齐:清晰地传达该解决方案如何解决特定的痛点、提高效率或创造新机会。使用实际的例子和可量化的指标来展示价值主张。
-
倾听反馈:倾听利益相关者关于他们担忧的反馈。对待反馈时要谨慎,并根据反馈调整信息传递,以透明的方式支持他们的关切。
-
关注用户需求:了解不同用户群体的挑战和优先事项,并相应地定制解决方案和培训。解决关于工作安全的疑虑,并强调数据技能对职业发展的好处。例如,某项政策可以确保合规性,原则上可能会得到广泛支持,但工程师可能需要更多的说服,了解政策要求如何帮助他们更有效地完成工作。
根据需要调整解决方案并确保其易用
当你与利益相关者会面时,为了推动采用,如果他们提供关于解决方案的反馈,特别是那些能够使解决方案对他们更有用的反馈,务必倾听。反馈是一种礼物,可以用来调整和改进你的解决方案,从而提高采用率。以下是一些特别需要倾听的内容:
-
投资于用户友好的工具和界面:确保技术直观且易于访问,即使是技术经验有限的用户也能使用。
-
提供强大的培训和支持:提供全面的培训项目、用户指南和随时可用的支持渠道,帮助用户克服障碍,并学会有效利用解决方案。
-
推动自助服务选项:设计数据仪表板和报告,使用户能够独立访问和分析信息,而无需完全依赖数据分析师。
别忘了文化因素
在调整解决方案并使其更易于使用的同时,不要忘记考虑文化因素。贵公司的文化是以电子表格为主吗?人们是在解决方案内操作,还是常常使用仪表板?深入思考员工的工作方式、工作环境以及公司文化对变革的开放程度,对于推动采纳至关重要。如果你想将员工从以电子表格为主的文化转变为更多使用仪表板的文化,举例来说,可能需要从一个小组或领导开始,推动你想要的变化。影响更广泛文化变革的一些有效方法包括:
-
以身作则:鼓励高级管理层使用并倡导数据驱动决策,为组织树立榜样。
-
传播成功案例:分享数据驱动的洞察力如何在公司内部带来积极成果的实际案例。
-
认可并奖励数据驱动行为:表彰和庆祝那些积极使用数据解决方案并利用洞察力改善工作表现的员工。
-
组织数据驱动的活动和研讨会:通过研讨会、黑客马拉松和数据可视化比赛等活动,促进数据素养并鼓励跨部门的协作。
解决采纳障碍
在处理上述反馈并听取利益相关者意见时,利用他们的反馈不断改进解决方案并推动更广泛的采纳。确保考虑到以下障碍:
-
识别并解决关切:积极倾听用户反馈,解决有关数据隐私、安全、工作岗位流失以及潜在道德影响的担忧。
-
确保数据质量和治理:实施数据治理实践,确保数据的准确性、可靠性和道德使用。
-
优先考虑数据安全:实施强有力的安全措施,保护敏感数据,并建立用户信任。
-
衡量和迭代:跟踪采纳率、用户反馈和数据解决方案的影响。利用这些数据持续改进用户体验,并调整方法以最大化影响。
记住——改变需要时间。要耐心并坚持不懈。建立以数据为驱动的文化需要持续的承诺和不断的改进。合作是关键,你需要让来自组织各方面的利益相关者参与到数据解决方案的规划、实施和采纳中。花时间庆祝进展是很重要的。认识并庆祝里程碑,以保持动力,保持用户的参与。如果你发现了一个早期采纳者,要大胆地向全公司展示他们的成功。通过实施这些策略,你可以创造一个让员工广泛拥抱数据解决方案的环境,释放数据驱动决策的真正潜力。
低采纳是昂贵的
想象一下:你的公司花费了数百万美元部署一个精心设计的嵌入式数据治理项目,但在项目启动后,利益消失,团队很快转向下一个项目。
这种情况每天都会发生。 每一天。
每个人都有良好的意图。我们建立了一个良好的商业案例。我们交付了项目。我们带动了初期团队、团体或系统的采纳。但随着时间推移,这种采纳逐渐萎缩。让我们深入了解一个容易理解的具体例子。
惊人的可视化
想象一下这样的情景:你的公司渴望实现数据的全部潜力,投资了顶级的数据可视化技术。在经过几个月的供应商选择、采购、开发和部署后,解决方案被闲置,几乎没有建立任何可视化图表,大家还是回到了我们熟悉的“老朋友”:电子表格。
在这种情况下,提倡并获得批准实施解决方案的数据团队,因为可视化工具仅被数据团队采纳,而不是如最初提议的那样全企业范围使用,导致与高层管理团队的信任丧失。ROI(投资回报率)没有完全实现,因为 ROI 是按照全企业的规模计算的,而不是按部门计算。你的信誉受损,你被贴上了“购买新奇产品”的标签,未来的投资将遭到严格审查。不幸的是,这为许多在应对数据解决方案采纳这一关键挑战的组织描绘了一幅太过熟悉的画面。
现在怎么办?
简而言之,你有很多工作要做。你无法回到过去重新做计划,但你可以改变未来项目的采纳方式(也可以修复过去项目采纳失败的情况,关于这一点我们将在接下来的为什么采纳失败部分中讨论)。
低采纳的定量成本
低采纳成本有很多表现形式,包括定量和定性两种。理解这两种类型是非常重要的,这样你才能确保你和你的团队不会低估推动数据解决方案全面和可持续采纳的重要性。让我们从低采纳的定量成本开始,重点关注具体的成本:
-
财务:在获取、实施和维护数据解决方案上的初始投资将付诸东流。这包括软件许可证、硬件费用以及为开发和维护解决方案而投入的团队成员费用。
-
重复劳动:团队继续依赖过时的方法或手动数据分析,浪费时间和资源。现在,你的团队需要同时支付“旧”方法和“新”方法的费用,从而增加了拥有成本。
-
低效运营:没有广泛采用,宝贵的数据仍然是孤立的,无法访问,阻碍了协作,并且妨碍组织利用解决方案简化流程的潜力。
定量化时间和机会的低效
这些低效可以通过推算访问和推动解决方案所需的时间成本以及丧失的机会来量化。相比其他因素,这更难量化,可能需要做出一些假设,但是可以量化的。
低采用率的定性成本
低采用率的成本不仅仅是容易量化的措施,还包括低采用率的定性影响。这类问题更多地关乎员工或客户体验、组织的整体文化以及所有利益相关者的情绪。这些成本更难改变,因此在组织内部有真正的持久性。忽视这些成本的明确表述并将其纳入商业计划将是一个错误。
将未来项目的风险表述为你当前项目的风险是合理的,尤其是当推动数据能力在一个之前没有成功经验的组织中时,每次失败的采用都会对其他能力未来的成功造成重大打击。这通常会被忽视或显著低估。
低采用率的一些关键定性成本包括以下内容:
-
挫败感和抵制:低采用率可能会在用户中产生负面体验和抵制情绪,特别是当他们认为该解决方案被强加、无关或繁琐时。
-
阻碍未来的采用努力:负面体验可能会阻止其他用户接受新的数据解决方案,形成抵制的多米诺效应。
-
侵蚀对数据的信任:如果用户认为该解决方案不可靠或无助,可能会彻底失去对数据驱动决策的信任。这是对成功而言最大的、最难以应对的风险。一旦信任丧失,修复起来非常困难。
-
消耗士气和生产力:对于实施不力的解决方案感到沮丧可能会对员工士气和生产力产生负面影响。
-
决策延迟:无法实时访问见解可能导致缓慢且可能不准确的决策。
-
错失机会:组织可能错失优化流程、识别趋势和发掘数据中潜在价值的机会。
与数据治理解决方案失败采纳相关的成本是相当大的。在你旅程的早期,将这些信息与商业案例中的“为什么”部分一起呈现非常有帮助。你应该包括为什么要部署数据治理能力的理由,但这应包括为什么在能力开发后也需要推动采纳。
比较数据治理政策的策略和结果
我曾在两家公司工作,它们的数据治理政策质量非常低。在这两个组织中,我们都将重新编写政策作为早期重点工作之一,因为在这两种情况下,我们都收到了关于数据管理员应如何管理数据的问题。在一家公司里,我们的资源非常紧张,因此我们所能做的只是重新发布更新后的政策,并偶尔回答问题。在另一家公司里,我们发布了更新后的政策,并推动了一个实施计划,其中包括带领数据管理员逐步采用该政策,并且我们采取了更加“与你并肩作战”的方式,而不是站在旁边观看。
正如你可能预料到的那样,我们在推出政策的公司并且支持政策采纳的公司,数据管理成熟度得分要高得多(大约高出一整分左右),并且拥有更有效的数据管理文化。此外,我们的数据问题更少,对我们随时间推出的其他解决方案也更有信任。
为什么采纳会失败?
导致数据治理解决方案失败的原因有很多。我曾将它们归纳为几个关键主题,帮助你识别解决方案失败的原因,并且帮助你避免在自己的采纳过程中发生这些失败。这些原因可以分为三大核心类别:
-
解决方案
-
公司
-
领导者(你)
这三种原因都很常见,而且这三种原因对于任何数据治理解决方案失败来说都是非常可能的。
解决方案就是问题
成功的首要障碍且最常被指责的就是解决方案本身。这意味着为利益相关者构建或创建的解决方案根本就不是正确的解决方案。要么它完全是错误的解决方案,要么流程和/或技术没有按预期运行。简而言之,解决方案无法满足贵公司的需求。通常,解决方案的问题有以下一种或多种:
-
可用性和易用性:直观的界面、明确的功能以及最小的学习曲线是鼓励用户参与的关键因素。复杂或设计不良的解决方案可能会造成挫败感,从而阻碍采纳。
-
相关性和价值主张:解决方案必须解决用户的特定需求,并在改善其工作或提供有价值的洞察力方面展示明确的价值。如果用户看不到解决方案与其日常任务的相关性,他们就不太可能采用它。
-
数据质量和可靠性:用户需要信任解决方案内数据的准确性和可靠性,以便根据其输出做出明智的决策。不一致或不可靠的数据可能会削弱用户的信心,并阻碍采用。
-
与现有工作流程的集成:解决方案应无缝集成现有工作流程和工具,以最小化干扰并最大化用户接受度。笨重或破坏性的解决方案可能会增加额外工作量,并阻碍采用。
当推动工作的团队既不完全理解需求,也不愿意接受反馈时,这些问题就会出现,而解决方案的开发和/或部署也同样如此。通过努力理解利益相关者的需求和反馈,并保持在看起来无法满足他们需求时调整方向的愿望,您可以对抗这种风险。
你的公司就是问题所在
不幸的是,你的公司也可能是成功的障碍。当公司未准备好数据治理或不愿考虑通向新成功的新路径时,公司可能是你失败采用的根本原因。通常有以下几个核心原因:
-
缺乏领导层支持:强有力的领导支持和承诺对于创建重视数据并鼓励其利用的文化至关重要。没有领导层的支持,数据倡议可能缺乏必要的方向和资源来成功,从而在采用过程中培养怀疑态度。
-
无效的变革管理:在过渡期间进行有效的沟通、培训和支持至关重要,以解决用户的关切并促进顺利的采用过程。缺乏清晰的沟通和支持可能导致混乱、抵抗,最终导致低采用率。
-
糟糕的组织文化:数据驱动的文化促进对新信息的开放,鼓励使用数据进行明智决策,并在整个组织中重视数据素养。抵制变化或对数据持怀疑态度的文化可以极大地阻碍采用工作的进行。
这是最难克服的障碍,因为虽然你可以影响变革,但你只是一个人。公司必须愿意改变,摒弃旧模式,并有效地采纳新解决方案(不仅仅是数据,而是跨多个学科)。这就是为什么公司层面的变革是如此难以逾越的硬障碍。
你就是问题所在
很难承认,但可能是真的。我有过这种经历,而且是真的很难承认,更难公开承认并解决。然而,有时问题可能是赞助或部署解决方案的领导者。导致你成为障碍的原因有很多,但这里有几句鼓励的话:
-
你可以让位,让你的团队茁壮成长
-
你可以要求反馈,适应并改进
-
你可以调整你的方法,尝试新的途径
如果你发现自己在与某个利益相关者或群体沟通时遇到困难,你可以尝试回顾之前的要点、与利益相关者一对一会面、寻求导师或赞助人的指导,或重新考虑你的方法。克服这一点不像公司层面的障碍那么难,但它需要谦逊的心态和在遇到阻力时愿意改变方法。
如何在推动卓越采用方面取得成功
我能给你的一条关于如何在组织内推动卓越采用并最大化数据治理解决方案价值的建议非常简单:
毫不妥协地专注 于采用率。
就是这样!这就是建议。那些专注于从采用中推动价值、衡量采用指标,并着重挖掘他们已经投入的资源最大回报的人,将获得他们解决方案的最佳投资回报。
主要数据管理指标
在我的第一次 PDM 部署中,我们设定了非常具体的衡量标准,没错,就是衡量我们解决方案的价值。看起来很直接,但我们真的要求自己超越仅仅是上线,专注于采用率的衡量。我们确实发布了关于建立能力的具体指标(例如,发布的属性数量),但我们也要求自己跟踪每个属性的采用系统数量。这迫使我们不仅关注数据的可用性,还要关注哪些平台正在消费我们新发布的主要数据。
如果我再执行一次这个项目,我会推动我们更进一步,同时跟踪使用主要数据发布的关键报告数量。验证这一点会很困难吗?是的。它能展示我们最大化投资价值的完整下游影响吗?同样,也是。
当你努力推动组织内的卓越采用时,有几个关注领域可以帮助你取得成功:
-
尽早展示价值:展示通过数据治理解决方案实现的实际影响案例和量化的收益,强调它如何解决用户的痛点并改善他们的工作。这可以通过在特定部门创建试点交付成果、分享成功故事以及量化解决方案对关键指标的影响来实现。
-
透明和清晰沟通:在整个过程中保持用户对解决方案的目的、收益和实施时间表的了解。透明地解决疑虑并回答问题。这有助于建立信任,减少对变革的焦虑。
- 附加建议:创建有针对性的沟通:根据用户的需求、技术专长和首选沟通方式,定制沟通渠道和信息。这能确保他们以适合的方式收到与其相关的信息。
-
建立反馈回路:通过调查问卷、焦点小组和开放的沟通渠道来鼓励用户反馈。考虑他们的改进建议并解决他们的关切。这表明组织对用户需求的响应能力,并能增强用户的归属感。
-
投资用户体验:优先考虑用户友好的设计、直观的界面和强大的培训项目,以减少学习曲线,并确保用户能够有效利用解决方案的功能。这包括直观的导航、清晰的可视化展示和易于访问的文档。
-
培训与持续支持:提供全面的培训项目,适应不同的学习方式并确保随时可用。通过专门的帮助台、在线资源和知识共享平台提供持续支持。这能够赋能用户,解答他们在使用数据治理解决方案过程中遇到的问题。
- 提示:不要止步于上线阶段。上线后继续提供用户培训,以确保后续加入的用户能拥有与首批用户一样愉快的入职体验。可以考虑提供每月或每季度的培训,帮助新用户快速适应并解答他们的问题。内容是可以重复使用的,但在用户的实际需求上进行对接,这份价值是值得反复投入的。
-
培养数据驱动的文化:鼓励领导层以身作则,在会议和演讲中展示基于数据的决策。促进关于数据利用的开放沟通,并庆祝通过数据驱动的见解取得的成功。这种做法能清晰地体现对数据的承诺,并帮助用户理解数据的价值。
总结来说,成功的关键是要考虑到你所做的工作最终会影响到哪个个体。我们常常会想到我们直接提供解决方案的对象,但在数据解决方案中,我们推动的许多功能具有连锁反应。它们不仅会影响我们直接合作的对象——没错,但这些功能会影响到更多的人。
请回想一下我之前分享的数据治理政策示例。虽然该政策主要面向数据管理员和用户,但这并不是全部。最终,你必须考虑到政策还会影响谁:客户、员工、系统用户、报告读者、做出决策的高管、董事会成员以及整个企业范围内的利益相关者(仅举几例)。我尽量设身处地为客户着想。当这项新的数据治理功能完全实现并且我能够切身体会到时,作为客户的我会有怎样的体验?
对这个问题的答案应该是良好采纳的基础。不是部署本身,而是最终受你团队成功影响的个体所感受到和经历的体验。这个人,也许你永远不会与他们交谈,也许永远都不会认识他们。影响他们的体验才是关键。你越能站在他们的旅程中,越能成功地推动组织内的良好采纳。
从失败的发布中恢复
我们都有这样的时刻。你开发了一个了不起的解决方案,你感到非常骄傲。团队充满热情,工作得非常好,你迫不及待想让用户使用它。
然后,安静了。没有人感到兴奋。用户指标——嗯,确实很低。你感到非常困惑,可能在思考以下问题:
-
到底出了什么问题?
-
为什么没有热度?
-
难道没有人关心吗?
-
所有的兴奋感去哪儿了?
不幸的是,你正在经历一次失败的发布。这种情况每个人都会遇到。你以为一切进展顺利,然后……什么也没有发生。你失去了所有的支持,所有预期的用户要么转向了下一个项目,要么回到了他们的旧解决方案。
问题是,你能做些什么?
发现根本问题
首先,你需要找出你的项目失败的原因。前面的问题可以帮助你开始识别问题出在哪里。通常,它们归结于以下几个可能的原因之一或多个:
-
误诊问题:如果没有充分探索问题,你可能没有完全解决问题陈述,因此没有解决利益相关者真正需要解决的问题。
-
错误的信息决策:继续依赖直觉或过时的数据可能导致不准确的评估,从而阻碍战略规划。
-
资源分配不当:资源可能根据错误的假设或不准确的数据被分配到错误的领域。
-
仅部分解决方案:你可能已经部署了一个很棒的解决方案,但如果它没有解决利益相关者所面临的所有问题,你可能无法获得他们的支持来采纳你所解决的部分问题。
当你经历这种时刻,必须重新评估为什么你的解决方案没有获得预期的采纳时,你并没有失败。这只是过程中的一个小波折,但并非一切都已失去。你可以做的是从与利益相关者建立伙伴关系开始。首先寻求他们的支持和合作,推动前进。
协作(几乎总是)制胜
有效的沟通与协作在数据解决方案采纳的整个过程中都是至关重要的,但在发布失败时尤其关键。请让你的利益相关者评估以下几个能力,并在今后的工作中改进并建立这些能力:
-
建立清晰的沟通渠道:创建专门的沟通渠道,如电子邮件通讯、内部维基或指定论坛,以便保持用户对解决方案、其进展和任何更新的知情。询问之前的渠道是否有效,或者是否需要进行调整以纳入反馈循环(请参见如何成功推动 卓越 的采用部分)。
-
赋能数据倡导者:在不同部门中识别并赋能“数据倡导者”,这些人对解决方案充满热情,能够在同事中宣传其益处。这些人可以为团队提供实践指导,并解决常见问题。考虑定期突出展示某位利益相关者,分享他们如何通过采用该解决方案改变员工体验的个人故事。
-
促进协作和知识共享:通过活动、研讨会或专门的在线社区,鼓励跨部门协作和知识共享,这些活动或社区专注于数据和已实施的解决方案。这使得用户能够相互学习彼此的经验和最佳实践。
部署后
无论您的部署是否顺利,采用是否进展顺利,还是您需要按照前一部分所述重新进行采用,您都需要专注于部署后的采用。除了早期采用者之外,成功的起点是上线后的第一步,作为数据专业人士,这才是您成功的真正开始。
首先,指定团队中的某个人来构建部署后的采用框架。这将包括以下关键能力:
-
部署后采用需要我们做什么?需要利益相关者做什么?需要用户做什么?
-
合理的入职时间表是什么?
-
采用如何获得资金?
-
我们如何衡量成功?
-
我们如何衡量持续的投资回报率(ROI)?
该框架应该足够灵活,以便用于您的团队部署的任何数据治理解决方案,但又足够专注,使您的利益相关者清楚地知道您在持续过程中应该提供什么。
采用路线图
部署后采用框架的一个关键领域应该包括构建采用路线图。鉴于采用过程是持续进行的,您应定期更新路线图。我建议为每个入职事件(例如,系统、报告、用户,根据您的解决方案进行适配)建立一个价值流,包括他们的“上线”,以及您将在上线后提供的任何超关怀或持续支持。
监控活动
在每个小组的采用后,您应确保跟踪适当的指标,以监控解决方案的影响。这可以通过多种方式来捕捉,但我建议至少考虑以下监控指标:
-
节省的小时数
-
节省的资金
-
数据质量改进
-
员工/团队成员体验改进
你应当为每个上线阶段捕获这些信息,并保持你的解决方案的整体汇总。与任何价值度量一样,确保与解决方案的受益方验证方法和/或计算,并单独验证该方法和/或计算的结果。
最后,别忘了将团队和整体达成的价值报告作为你项目级别价值指标的一部分。这是衡量团队对公司影响成功的重要部分。事后再去衡量这一点非常困难,因此请确保现在就捕捉这些数据。
将采纳过程融入到 SDLC 实践中。
一旦你有了一个稳定且被广泛采用的解决方案,最终的最佳实践是将该解决方案嵌入标准的系统开发生命周期(SDLC)过程中,确保它成为未来任何开发的一部分。根据解决方案的类型,你可能还希望将其纳入标准项目管理办公室流程中(例如,数据政策)。接下来是一些你可以实施的关键策略。
早早开始并贯穿整个过程。
在推进数据治理的广泛采纳时,一个推动大规模实施的好方法是将数据治理要求嵌入到 SDLC 过程中。这将使你的公司能够在新解决方案上线时实现“设计即数据治理”:
-
让数据相关方参与需求收集和规划:将数据分析师、科学家和业务用户纳入讨论,以了解他们的需求并确保解决方案与数据战略保持一致。
-
进行数据可行性评估:在开发开始之前,评估现有数据的质量、可访问性和相关性。
-
以可用性和互操作性为设计目标:优先考虑用户友好的界面,并将其与现有系统集成,以实现无缝的数据流动和采纳。
想象一下,从第一天开始就上线数据字典、数据管理员和完整的端到端数据血统。尽早在 SDLC 过程中开始,使你和你的团队能够通过每个发布版本推动数据治理。
实施数据治理和质量控制。
在将数据治理引入 SDLC 过程中时,请确保关注以下关键组件,以获得最大的影响:
-
定义数据标准和指南:为数据格式、命名规则和访问控制制定明确的规则,以确保一致性和可靠性。
-
将数据验证和测试集成到 SDLC 阶段:在每个步骤自动化数据清理和验证过程,以保持数据质量。
-
促进数据素养和培训:为开发人员和用户提供理解、管理和有效解读数据的技能。
专注于协作与沟通。
数据治理是一个团队运动。确保建立必要的协作论坛,以确保每个人在 SDLC 过程中都能获得成功。重点是确保完成以下事项:
-
建立清晰的沟通渠道:定期分享进展更新,解决问题,并在整个开发周期中收集数据利益相关者的反馈
-
组建跨职能团队:打破隔阂,鼓励开发人员、数据团队和业务用户之间的协作,促进共同所有权和理解
-
记录数据需求和使用:创建清晰的数据源、转换和使用文档,确保未来的可维护性和采用性
持续监控和迭代
在你持续推进 SDLC 过程的同时,有几个关键方法可以帮助你监控持续改进,并进一步迭代解决方案,以提高采用效果:
-
跟踪关键采用指标:衡量使用率、用户满意度以及数据解决方案对业务目标的影响
-
通过调查和访谈收集用户反馈:识别痛点,提出改进建议,并确保解决方案满足不断变化的需求
-
敏捷迭代和适应:基于反馈和指标,持续优化数据解决方案和用户体验,推动更广泛的采用和价值实现
利用自动化和工具
最后,在考虑如何推动进一步的采用时,思考自动化解决方案的方式,改进工作完成方式,并在适当的时候自动化数据管道。如果你能通过在数据资产嵌入工作流中时进行自动化,使利益相关者更容易消费你的解决方案,他们就更可能采用它们。请考虑以下事项:
-
自动化数据管道和集成:消除手动数据任务,减轻团队负担,促进更顺畅的采用
-
利用数据可视化工具:创建用户友好的仪表板和报告,使数据对不同受众既可访问又可操作
-
探索自助数据访问选项:使用户能够独立探索和分析数据,从而增加参与度和数据驱动的决策
你应根据具体情况调整方法。实施这些策略时,考虑组织的规模、文化、技术专长和数据成熟度等因素。你还应该寻求领导层的持续支持。
你可以并且应该强调数据解决方案的战略价值,并确保获得高层支持,以维持持续的采用努力。最后,投资于变革管理。提供培训、资源和清晰的沟通,以支持个人向更具数据驱动文化的过渡。从一开始就在软件开发生命周期(SDLC)中融入采用,并在整个过程中使用这些策略,可以提高数据解决方案实施的成功率,并最大化其对组织的影响。
结论
采纳是一个持续的过程。在解决方案退役或停用之前,你将一直推动解决方案的持续采纳。数据解决方案是强大的工具,但它们真正的力量在于它们的广泛采纳和利用。通过了解低采纳的成本、影响用户行为的因素,以及促进参与的各种策略,组织可以创造一种基于数据的决策文化,释放数据投资的全部潜力。
数据采纳不是一次性事件;它是一个持续的过程,需要不断的努力、参与和致力于在组织内建立数据驱动的文化。通过采纳所列出的策略,并营造一个重视数据和用户体验的环境,组织可以在成功采纳数据的道路上稳步前行,将数据转化为成功的强大动力源泉。
第十六章:交付有意义的可信结果
随着数据治理的实施,首席数据与分析官(CDAO)及其领导团队必须确保所有的信息传递都围绕着交付可靠的结果,并与业务成果紧密相连。这种思维方式要求 CDAO 及其团队超越“数据指标”,思考对业务真正重要的结果。在本章中,您将学习如何确保所承诺给利益相关者的内容与实际交付之间的一致性,如何解释预期交付与实际结果之间的差异,以及为什么这有助于建立信任。最后,您将学习如何在交付过程中有力地向利益相关者传达信息,以产生影响。
在深入探讨之前,我想重新框定本书中涵盖的许多内容,以引导我们形成一个最终的视角,即整合一个标准的端到端数据治理方法。正如我们在过去 15 章中所讨论的,你需要根据自己的实际需求定制这个模型。我还想强调,这个模型并不是独一无二的。在过去的 10 多年里,我看到无数咨询公司在我接触过的每个企业中都在使用这个模型的不同版本。因此,这个模型是我在反复看到类似版本后所做的调整。
建立信任的一部分是设定期望,按承诺交付,并在需要时进行调整,同时保持关注可衡量的影响力。在整个过程中,清晰地传达你必须做的事情,以便建立可能无法“感知”或无法衡量的能力,同时也清楚地表明哪些是直接影响业务、利益相关者能够感受到且我们能够衡量的内容。不要害怕指出某些基础性工作将为其他能力的实现奠定基础。这样的区分和清晰度至关重要。
本章涵盖以下内容:
-
如何向利益相关者传达信息
-
如何沟通预期之外的结果和承诺的偏差
-
如何交付结果以建立信任
-
能力评估
如何向利益相关者传递信息
当向利益相关者传递有关新数据解决方案的影响时,至关重要的是要根据他们的兴趣和关注点调整你的沟通方式。记住,任何与他们认知不符的差异(不一定是你告诉他们的内容,而是他们所期待的)都会引发问题。你有责任用可信的事实来支持他们对团队影响力的理解。交付值得信赖的结果时,必须时刻考虑到利益相关者。让我们回顾一下框架信息传递的几个关键要素。
低影响力信息传递示例
在启动新团队时,花时间定制信息传递,特别是在与利益相关者一对一会面时。
我参与过的最糟糕的与利益相关者沟通的例子之一,是与高层领导单独会面时,使用了过于通用的材料。当你花时间单独会面却使用通用材料时,无法充分利用你作为领导者的巨大机会,精准而具体地展示你和你的团队为利益相关者群体所做的工作。使用通用材料,你错过了关于利益相关者从你的团队获得的具体利益的更丰富对话。
如果你在一个大型论坛中向利益相关者进行展示,仍然可能因为过于通用而让人泄气。使用具体的案例来展示你的团队如何为利益相关者创造价值,更好的是,让利益相关者自己展示这些例子,以实现更具影响力的沟通。
专注于价值和影响
从价值和影响的角度来进行沟通。一定要使用我们在第五章中定义的价值衡量方法。使用业务影响来框定计算出的影响,以获得更强大、更可信的结果:
-
从“为什么”开始:清晰阐明解决方案所解决的问题,以及它如何直接影响他们的具体目标或关注点。使用量化指标和实际案例来展示潜在的好处。
-
与他们的优先事项保持一致:将解决方案框定在现有的计划和痛点的背景下。展示它如何与他们的战略目标一致,并解决他们面临的关键挑战。
-
强调影响而非功能:正如我们在第五章中详细讨论的那样,专注于解决方案将带来的具体成果,而不仅仅是它的技术特性。展示它将如何改善决策、加强流程或提升财务表现。业务方不关心你发布了什么功能,他们关心的是,现在他们能够做以前做不到的事情。
说他们的语言
你必须使用对业务而言常见的语言,而不是数据专业人士常用的语言。对于大多数数据专业人士来说,最大的挫折之一就是无法获得业务的认同,而业务方缺乏“数据理解”或“数据素养”:
-
避免使用技术术语:使用清晰简洁的语言与听众产生共鸣。用通俗易懂的语言解释复杂的概念,重点关注实际应用。这是我看到的数据专业人士犯的最大错误之一。他们会因为业务方“无法理解”或“不具备数据素养”而感到沮丧。你的工作是将数据能力转化为能与业务沟通的语言,而不是反过来。
-
根据每个利益相关者群体定制你的信息:了解他们的优先事项和沟通偏好。看起来可能需要额外的工作来这样定制,但同样,提供一个没人理解的伟大解决方案,也同样会导致没人使用它。
-
使用与他们兴趣相关的视觉元素、类比或案例研究:突出易用性和可访问性。展示解决方案如何直观、易用,无论他们的技术专业性如何。
解决问题并建立信任
在与利益相关者会面并建立关系时,重要的是要记住你是来服务于公司的需求的。这意味着你的职责是深入聆听存在的挑战,并与利益相关者合作,提供能够最大化效果、交付成果的解决方案。从服务的角度出发,每次交付符合他们需求的解决方案时,你都会建立起与利益相关者之间的信任。在解决他们的疑虑并建立信任的过程中,请记住以下几点:
-
倾听以理解:不要只是为了回应而倾听,要听取利益相关者的声音,然后解决他们的疑虑。这不是一场辩论,你为他们提供服务。倾听他们的关切,全面回应反馈,从而建立信任。
-
承认潜在的挑战:预见他们对数据隐私、安全、职位流失或伦理问题的关注。主动且透明地解决这些问题。
-
解释数据治理和安全措施:展示你对负责任的数据使用和强大安全实践的承诺。强调遵守相关法规的重要性。明确数据治理如何支持其他能力的发展,以及这些基础如何推动更先进的数据能力以交付商业成果。
-
提供反馈和参与的机会:让利益相关者参与规划和实施过程。解决他们的顾虑,并纳入他们的反馈,以建立信任和归属感。
使用清晰且有说服力的沟通方式
吸引利益相关者注意力的最佳方式是确保你所说和展示的内容非常具体且精炼。没有什么比过多不具体的词汇更容易失去利益相关者的注意力了。将自己置身于他们的立场,以他们的角度来撰写信息,像你希望听到的那样进行表达。以下是一些吸引他们注意力的关键方式:
-
保持简洁且吸引人:用有力的开场吸引他们的注意力,并以清晰、结构化的方式呈现关键点。避免信息过载。
-
使用故事讲述和数据可视化:通过故事、案例研究和数据可视化来增强信息的影响力和记忆度。展示结果,而不仅仅是讲述。
-
提供后续步骤和资源:明确说明利益相关者如何进一步了解、参与或提供反馈。
记住——你有责任成为解决方案的倡导者。对数据解决方案及其潜在影响保持热情和积极性。这将激发信心并鼓励采纳。一个好的做法是从小处入手,积累势头。专注于一个试点项目或快速成功案例,以展示解决方案的价值并获得初步认同。以易于理解的方式衡量和传达成功。跟踪数据解决方案的影响,并与利益相关者分享积极结果,以巩固其价值并鼓励持续支持。通过遵循这些原则并根据特定受众调整信息,你可以有效地传达新数据解决方案的价值,并推动利益相关者的采纳,产生持久影响。
现在,我们已经讲解了有效沟通的基本内容,接下来我们将转向一个更难的沟通模式:当事情不按计划进行时,如何沟通。
如何传达意外结果和承诺的偏差
传达数据解决方案中的意外结果和承诺偏差需要透明性、主动性,并且专注于解决方案。以下是有效应对这种情况的方法:
-
主动且及时:不要等到截止日期或会议才披露问题。一旦识别出承诺偏差或意外结果,立即通知相关利益方。
-
安排及时的沟通会议:根据偏差的严重程度,组织专门的会议或简报,直接解决问题。
提供清晰的解释和背景
不要害怕澄清和明确发生了什么。要具体,不要绕弯子。直接进入发生了什么、为什么会发生、影响是什么,以及你将采取什么措施。开始时,可以做以下几点:
-
清晰地解释意外结果或偏差的性质:提供简明的总结,避免使用技术术语。
-
量化影响:用可衡量的方式表达偏差,如百分比或数字,以传达实际的意义。利用第五章中的模型,阐明偏差的影响,并为未来建立新的衡量标准。
-
将情况置于背景中:解释偏差的根本原因,无论是数据问题、技术限制还是外部因素。
专注于解决方案和下一步措施
仅仅提供清晰的解释和背景是不够的。你还必须推动对话向前发展。你将如何解决这一意外结果?你将采取什么措施来帮助实现目标?解释和理解影响很重要,但要专注于向前推进。要快速但直接地专注于前进。确保通过以下方式进行简洁的沟通:
-
不要只关注问题:提供具体的解决方案或缓解策略,以解决偏差。
-
制定现实可行的行动计划:描述你将采取的措施来纠正局面并重新回到正轨。包括时间表和负责人。
-
对可能的未来调整保持透明:如果有必要,基于新信息沟通可能对承诺或期望的调整。
保持透明和开放的沟通
在预期时保持透明是一个方面,但保持开放的对话和沟通模式则是最佳做法。你可以做几件事来确保在关键会议和论坛之间保持开放、值得信赖的沟通:
-
积极倾听利益相关者的关注点,并公开、诚实地回答他们的问题。承认他们的挫败感并解决任何焦虑。
-
保持开放的沟通渠道。鼓励利益相关者在整个过程中提出更多问题或关切。
-
提供定期更新。分享已实施解决方案的进展,并让利益相关者了解最新动态。
根据受众调整你的沟通方式。根据利益相关者的具体需求和角色调整信息传递的风格和细节层次。通过关注积极的框架来建立融洽的关系。在承认偏差的同时,强调你解决问题和实现积极成果的承诺。这将帮助你的团队和利益相关者共同前进。从团队的角度学习经验,反思意外结果的根本原因,并采取措施防止类似情况的再次发生。
失败建立信任
我发现建立信任的最好方法之一是在事情不顺利时保持开放和脆弱。在转型项目中,当事情开始偏离或未按计划进行时,领导者通常会努力将问题恢复为绿色状态,或绘制一种优化后的图景,供指导委员会或其他报告沟通论坛使用。
根据我的经验,反而是与领导层保持开放和透明,在黄色或红色状态时不怕将你的工作展示在这些状态下,这通常在建立信任方面更加有效。与一个总是处于绿色状态的团队相比,他们更倾向于相信你的报告和交付效果。
事实上,我曾经工作过的一家公司有一位高管曾说:“如果我们没有时常处于黄色或红色状态,我们可能没有足够强烈地推动团队。”
通过遵循这些步骤,你可以有效地传达数据解决方案中的意外结果和差异,同时保持利益相关者的信任,并促进一种协作的解决方案寻找方式。记住——清晰、主动、以解决方案为导向的沟通是建立信任并建设性地应对数据挑战的关键。
如何交付结果以建立信任
在数据解决方案中建立信任,不仅仅是关注数据本身,更是要在整个过程中建立可靠性、透明度和责任感的基础。我职业生涯中最受信任的解决方案,始于强有力的透明度、我愿意承担完全且坚定的责任,并且按承诺交付,从而将我和我的团队建立为可靠的合作伙伴。
优先考虑协作和沟通
在与相关方合作时,将他们带入构建过程。这可能不常见,但通过迭代设计过程将相关方带入比等到你有了完整的解决方案再展示结果更有效。公开临时步骤可以帮助他们看到几件事:1) 解决方案的复杂性;2) 当某个部分早期无法满足他们需求时,便于进行快速调整。一些促进协作和沟通的考虑事项包括:
-
在整个过程中让相关方参与:在规划、开发和实施阶段,让数据用户、业务负责人和 IT 团队参与其中,了解他们的需求和关注点。
-
主动并定期沟通:在解决方案的生命周期中分享更新、解答疑虑并收集反馈。对挑战和成功保持透明。
-
建立清晰的治理和期望:定义角色和职责、数据使用政策以及处理数据相关问题的升级程序。
展示专业知识和能力
建立信任的另一个关键因素是确保团队成员具备完成任务所需的适当培训。对团队来说,最具破坏性的风险之一就是树立“无能”的声誉。如果公司认为你没有能力交付,你将很难建立信任。要建立一个值得信赖的团队,首先要通过以下方式展示你的能力和专业性:
-
建立一支技术熟练的数据专业团队:投资于团队的专业技能发展,确保他们能够有效地应对复杂的数据挑战并实施解决方案
-
跟进行业最佳实践:根据不断变化的数据标准、法规和技术,持续学习并调整你的方法。
-
分享成功与经验:展示通过数据解决方案所取得的积极成果,以建立信任并鼓励进一步的采用
培养开放和责任文化
创建心理安全文化从你开始。你必须建立一种文化,在这种文化中,开放和问责是商业运作的常态。这意味着要对团队的结果负责,但要以一种允许团队犯错而不惧怕惩罚的方式进行。如果你设定了结果期望,就需要让团队对结果负责。一种很好的做法是这样表述:“我看到我们没有达到目标。我们可以做些什么来帮助?”这既承认了预期结果没有达成,也表明你和团队一起面对问题。这一点至关重要,因为没有什么比忽视不良结果更能打击团队士气了。
有勇气清晰地指出结果未达预期,并且足够勇敢地让团队成员对交付负责。要以人为本。你可以用同理心和关怀来做这件事,同时仍然让团队对交付预期的结果负责。确保创造开放和问责文化的几种方式如下:
-
鼓励数据驱动决策文化:促进使用数据来指导战略和行动,赋能利益相关者获取洞察。
-
拥抱错误和学习机会:鼓励开放的沟通,讨论错误和差点发生的失误,从中汲取教训,以改进未来的解决方案。
-
对结果负责:追踪数据解决方案的影响,并衡量朝着约定目标的进展。分享结果并解决任何差距。
建立信任需要时间和努力。这是一个持续的过程,需要不断承诺遵循这些原则。你需要根据具体的背景和受众调整方法。对于一个组织有效的方法,可能不适用于另一个。不断评估和改进你的方法。向利益相关者寻求反馈,并根据他们的需求和看法调整策略。
通过专注于这些原则,你可以在数据解决方案中建立信任,并创造一个有效使用数据来推动所有利益相关者取得积极成果的环境。建立可信结果的核心原则归结为前面提到的那些原则。你带来了一项关键技能:卓越的数据治理。你之所以担任这个职位,是因为公司信任你能够提供有影响力的优秀结果。别忘了这一点。你之所以处在这个角色中,是有原因的。要专注于书中的教训。以透明度来交付结果,愿意失败,但最重要的是,在你所做的一切中建立信任。
在我们过渡到本书的最后一章——一个虚构公司的案例研究,展示我如何建议数据领导者处理该场景之前,我想总结一下本书中提到的所有能力是如何结合在一起的。将所有强大的数据治理解决方案融合成超越行业的视角是一项艰巨的任务,但在进入《第十七章》案例研究之前,我希望在你消化本书内容和背景时,给你留下一个强有力的总结。
能力审查
让我们逐一回顾这些能力,展示如何交付可信的成果,以满足业务需求。本节旨在作为参考指南。
数据治理
数据治理是一种确保组织拥有可信赖信息的实践。数据治理通常包括政策、标准、流程、工具和人员,以有效地执行。数据治理帮助组织做出更好的决策,减少风险,并提高运营效率。
阶段 | 能力/交付物 | 影响 |
---|---|---|
定义 | 定义数据治理组织和运营模型 | 利益相关者理解你的团队将如何组织,以及他们应该如何与你互动 |
文档 | 记录数据治理政策和标准 | 利益相关者了解数据治理的预期成果及如何实施这些政策 |
分析 | 执行数据管理成熟度评估 | 利益相关者了解组织现状,并能够将公司的成熟度水平与行业标准进行对比 |
优化 | 制定数据治理部署路线图 | 利益相关者了解将部署的内容及其时间安排 |
维持与测试 | 测量数据治理项目的有效性 | 利益相关者理解数据治理项目提供的价值及其可衡量的结果 |
表 16.1 - 数据治理阶段
元数据(业务和技术)
元数据通常被描述为“数据的描述数据”,它提供关于数据的信息,但不是数据本身。在本书中有两种类型的元数据:业务元数据和技术元数据。业务元数据是描述性元数据,以通俗易懂的方式解释数据的含义。技术元数据则更具结构性,描述数据的物理特性。元数据有助于查找信息、理解信息并更有效地管理数据。
阶段 | 能力交付物 | 影响 |
---|---|---|
定义 | 定义关键数据元素/来源及元数据标准 | 利益相关者理解数据的范围、来源以及如何管理 |
文档 | 记录业务和技术元数据 | 利益相关者对相关数据有清晰的理解,并能找到对他们重要的业务和技术元数据 |
分析 | 使用元数据深入了解数据的来源、使用情况和数据质量。 | 利益相关者能够理解优化机会的存在。 |
优化 | 优化控制、流程、来源和数据流。 | 利益相关者可以开始推动环境中的简化,使用可信赖的数据源。 |
持续和测试 | 测量元数据的有效性。 | 利益相关者理解元数据的可靠性。 |
表 16.2 - 元数据阶段
数据质量
数据质量定义了数据集或数据资产如何满足其预定目的的需求。数据质量包括准确性、及时性和有效性等维度。数据质量至关重要,因为它确保所使用的数据可靠并符合预期。
阶段 | 能力/交付成果 | 影响 |
---|---|---|
定义 | 定义数据质量规则、指标和阈值。 | 利益相关者理解什么是高质量数据,以及数据将如何被衡量。 |
记录 | 制定支持业务需求的业务数据质量规则。 | 利益相关者记录并澄清适用于其业务结果的数据质量水平。 |
分析 | 实施数据质量规则,衡量质量,并报告结果。 | 利益相关者能够清晰地了解哪些数据未达到质量预期,应该谨慎使用,哪些数据是可信的。 |
优化 | 优化数据质量度量、差距和覆盖深度,在发现问题的地方找到数据来源并提供补救措施。 | 利益相关者能够找出数据质量问题的根本原因,并进行相应修正。 |
持续和测试 | 测量在常规业务过程中监控的数据质量。 | 利益相关者能够定期收到有关低于阈值的数据质量问题的警报,并有能力在问题出现时及时处理。 |
表 16.3 - 数据质量阶段
数据架构
数据架构是公司如何管理数据的蓝图。良好的数据架构定义了数据的收集、存储、访问、处理方式,以及数据如何流动和被消费。数据架构有助于确保数据根据业务需求流动,并且在业务活动流程中有效地可访问。
阶段 | 能力/交付成果 | 影响 |
---|---|---|
定义 | 为业务需求定义架构原则。 | 利益相关者理解架构的北极星,并知道环境应如何设计。 |
记录 | 定义并记录未来状态架构的发展。 | 利益相关者可以看到并参与架构设计的预期方式。 |
分析 | 开发目标状态和当前状态之间的差距评估。 | 利益相关者能够看到并确定实际情况与理想状态之间的努力和复杂性。 |
优化 | 制定战略计划,将现有状态(as-is)转变为未来状态(to-be)。 | 利益相关者理解未来状态与当前状态的不同之处,并能够据此优先考虑投资。 |
维持和测试 | 可以将新的投资与未来状态进行评估,以确保投资是以最终目标为导向的。 | 利益相关者能够对投资进行压力测试,并围绕未来的框架进行评估。 |
表 16.4 - 数据架构阶段
数据操作
数据操作(通常称为 DataOps)是一套一致的过程和技术,旨在改善公司内部数据的流动和管理。通常,DataOps 职能侧重于自动化过程、推动有效的协作、提高数据质量和洞察时间(TTI),并降低服务成本。更成熟的 DataOps 职能则侧重于提高创新和数据探索的能力,并可能创建新的数据资产,以便在公司范围内扩展。
阶段 | 能力/交付物 | 影响 |
---|---|---|
定义 | 定义集成模式、工具和价值流。 | 利益相关者能够看到优化整个企业数据流动的可选方案。 |
文档化 | 与数据架构合作,可以识别并优先考虑简化数据流动的机会。 | 利益相关者能够看到数据在哪些方面可以更快流动,从而支持他们的业务成果。 |
分析 | 为数据流动优化的计划已经建立,以支持未来的状态。 | 利益相关者可以通过在数据操作中的有意投资,确定哪些投资能加速他们的成果。 |
优化 | 数据操作的投资可以自我资助未来的投资,因为节省的时间和成本形成了简单的价值流。 | 利益相关者可以通过自我资助数据操作优化来建立一个持续改进的飞轮效应。 |
维持和测试 | 可以将新的投资与未来状态进行评估,以确保投资是以最终目标为导向的。 | 利益相关者能够对投资进行压力测试,并围绕未来的框架进行评估。 |
表 16.5 - 数据操作阶段
在你创建新资产或改进旧资产时,所有这些总结出的能力应围绕你和你的团队所生产的解决方案。通过专注于迭代改进,你将不断构建更好、更有效的解决方案,以供你的组织使用。
结论
本章总结了本书的核心内容。在超过 300 页的内容之后,现在由你和你的团队将书中的教训转化为公司成果。随着许多不断发展的能力和新旧技术的应用,这本书总有一天会过时。我觉得这很令人兴奋!作为一名从事数据治理工作超过十年的实践者和热情倡导者,我知道在优化数据治理能力方面仍有许多可以做的事情。随着每天都有改进和创新发生,我对这个领域的未来充满了希望。
企业需要优秀的数据才能带来优秀的成果。它们需要像你我这样的从业者来帮助它们实现这一目标。如果你从本书的内容中没有学到别的,至少要学会成为企业利益相关者的谦逊合作伙伴,不是并行工作,而是与他们一起并肩作战,交付卓越成果,那么这对我来说就已经足够了。数据治理是为公司服务的。作为一名数据治理领导者,这意味着你为你的利益相关者服务。永远不要忘记这一点。通过努力支持公司,支持伟大的成果,并以简单、直接的方式做到这一点,你将建立对数据的信任。在最后一章中,我们将把书中的所有教训应用到一个受监管实体的案例研究中:一家银行。
第四部分:案例研究
在这一部分,我们将通过一个虚构公司的案例研究,向你展示前 16 章在实际操作中的应用。在这个案例中,我们将重点展示最佳解决方案,并解释为什么选择了这些方案,同时也会提到可以选择的其他选项,但没有被采用的原因。
本部分包含以下章节:
- 第十七章,案例研究 - 高度监管的机构
第十七章:案例研究 - 金融机构
在本章的最后部分,我将带领您走完应用前 16 章中讨论的许多能力和方法的步骤。这个现实世界的案例将准确展示如果我面对类似的场景,我(或者我带领的团队)会怎么做。虽然现实世界中的金融机构与本章案例研究之间有共同之处,但该情况是虚构的。
我们将一起探讨如何将我们所学的内容应用到高度监管的机构中。以本例为例,我们将以银行为例,但类似的原则也可以适用于其他高度监管的实体,如保险公司或医疗机构。我将重点讲解如何识别每个即将到来的场景中的具体要求,以及如何修改上一章中的指导方针,以满足案例的独特需求。
我们将一起探讨三个问题集:
-
如何在监管压力期间识别快速获胜的机会
-
如何向执行团队成员传达长期解决方案和高价值投资
-
如何设计有影响力的迭代交付
场景 - 高度监管实体 - 银行业务
过去几年中,金融机构的数据已从一个需要控制的风险转变为认识到数据资产是战略性洞察源,可以在整个企业中加以利用。因此,首席数据与分析官(CDAO)的角色也从专注于数据与分析的防守角度(防止坏事发生)转变为进攻角度(利用数据和洞察力为公司推动附加收入和客户体验)。这一变化使 CDAO 从幕后走向了成为受信任的业务高管。
为了本案例的目的,我们将以中西部银行为例。中西部银行是一家虚构的公司,服务于美国中部大约 25 个州。它为客户提供包括支票账户、存款账户、退休服务、个人银行业务、抵押贷款及其他贷款产品以及信用卡服务在内的核心金融产品。中西部银行还专注于小企业银行业务,优先支持中小企业,并为其提供定制化解决方案。最近,中西部银行由于现金处理不当和当前经济环境中的流动性问题,受到了主要监管机构的压力。因此,监管机构将审查重点放在了其流动性报告流程以及银行内的其他数据和报告流程上。
中西部银行面临着三个需要立即关注的主要挑战:
-
监管机构和高层管理团队面临着巨大的压力,迫切需要找出如何解决中西部银行存在的问题。他们期待迅速采取行动并取得成果。你需要确定可以迅速采取什么措施来展示良好的进展,并且要快速推进。
-
银行对如何解决各级数据和报告挑战的长期计划尚不明确。许多高层管理人员对数据平台不太熟悉,你需要找出如何以他们能够理解的方式向这些利益相关者传递信息,以支持你和公司需求。
-
最后,你需要交付渐进的成果,因此,你需要一个计划,展示快速胜利和长期的渐进交付。
需要注意的是,你是被聘请来领导这一工作的,而且是该银行历史上首位担任该职务的首席数据与分析官。你加入时,急需快速产生影响,但你的利益相关者对 CDAO 的职责不太了解,你需要花些时间向他们解释你的工作内容,以及你将如何帮助他们应对这一压力重重的局面。
作为这一工作的领导者,以下页面将解释在这种情况下你应该做什么。
识别快速胜利
中西部银行聘请你担任首席数据与分析官。你在第一季度中期加入了公司。在经历了一个颠簸的第四季度和年终结算过程后,监管机构发现用于管理组织短期现金头寸的流动性报告存在大量不准确之处。主要监管机构要求对报告的制作进行全面审查,包括所有基础系统和数据流,并对公司进行审查。这个报告对于银行至关重要,因为它比较了短期资产(现金、可转换证券等)和短期负债(存款、短期贷款等)。通过比较这些数值,银行能够确定其履行义务的能力,避免发生流动性危机,使组织陷入资不抵债的境地。
你在第一天与经理坐下来讨论:首席运营官。他们解释道,虽然你作为首席数据与分析官(CDAO)的角色比仅仅解决这个报告的问题要广泛,但这是一个你被要求领导整改的关键问题。
替代方案
你可以选择拒绝这个请求,建议你应该专注于所有关键报告,仅关注长期解决方案。这个选项可能提供一个更具战略性、长远的解决方案;然而,它无法解决眼前迫切的问题:流动性报告的数据治理和报告流程。
你主导这项修复工作的做法并没有得到首席风险官的积极回应,因为他们负责公司的风险管理流程,并且是流动性风险监督过程的负责人,包括报告的制作。你主导这项修复项目,实际上有些越过了 CRO 的职权范围。然而,监管机构认定首席风险官在这种情况下未能正确履行其 CRO 职责,因此 CEO 决定将其排除在修复团队之外。
另一种选择
你可以建议 CRO 保留这项工作,并将其作为同行支持。这种做法如果 CEO 没有特别要求你担任领导角色的话,可能是可行的。很可能有一些你不知道的因素,导致 CRO 被排除在这项修复工作之外。你应该与 CRO 合作,建立关系以便于自己入职,并了解这一情况是如何展开的。然而,通过回避或建议 CRO 接手这项工作,你可能会削弱自己的可信度,特别是在作为新员工的情况下,你的可信度仍在建立中。
图 17.1 – 部分组织结构图,中西部银行
初步发现
你首先与 CEO 的直接下属逐一进行会谈,他们被统称为执行领导团队(ELT)。ELT 举行了一个没有 CRO 参与的闭门会议,讨论如何处理这个问题。你被要求在第二周末的会议上做汇报。因此,你不到两周的时间里,需要尽可能多地了解问题,并制定一个大致的计划来解决问题。
ELT
你请求与每位 ELT 成员以及他们各自团队中的一些成员会面,收集关于中西部银行失败的相关知识。每个人都愿意会面,包括市场营销团队——他们表示,这一事件对客户情绪造成了巨大打击。你还与主要监管机构的负责人进行了会面,了解他们对银行失败的看法。
另一种选择
你可以在不与执行团队会面的情况下准备一种方法,以消除可能参与导致公司陷入这种局面现有团队成员的偏见。然而,如果你选择不涉及执行团队,你可能会冒着与关键支持者断绝关系的风险,而这些支持者是你作为公司新领导者成功所必需的。其次,你可能会错过建立成功修复计划所需的关键背景信息。
他们都表示,报告目前由风险团队进行整合,但这是一个跨职能的合作。数据从小企业、社区银行和投资部门收集。每个业务单元(BU)的数据会提交给公司风险部的 Sally 进行整合,并最终由首席风险官向企业风险委员会汇报和展示。由于此次事件,首席风险官最近被安排在首席运营官之下。经过企业风险委员会的审查后,报告会根据要求发布给监管机构。
首席风险官
此外,你还要求首席风险官与您见面。经过一番推脱后,首席风险官同意了与你见面。你告诉她,你不是来做任何评判的,而是想了解她知道的对解决问题有帮助的情况。她解释说,她知道流动性报告非常依赖人工处理,且负责报告的团队非常年轻,缺乏对数据质量重要性的培训。由于这个历史原因,她任命了 Sally 来整合来自各个团队的数据,以便“有人来完成这项工作”,但她承认这并不是正确的做法,业务单元中的某个人应该真正负责报告的编制。
替代选项
你可以选择不与首席风险官见面。由于她被定位为当前问题的负责人,你可以避免将她卷入整改过程。然而,既然她仍然在职且依然是首席风险官,她仍然有一定的角色要扮演,尽管这个角色比问题出现之前小了很多。你可以选择是否包括她,但这两种选择对你来说都有风险。我认为报告过程的复杂性要求尽可能多的背景信息,包含她是出于一种诚意的行为。
她还提到流动性数据来自不同的业务部门,且责任/可追溯性不明确。当问题被提出时,似乎从未有一个人能承担起解决问题的任务。某些问题在几个月甚至几年中都未得到解决。因此,报告中存在已知的数据问题,这些问题长期存在。
报告编制人
你与 Sally 坐下来,她目前担任报告编制人的角色。当你见到她时,她显得明显沮丧,甚至有些焦虑。她知道这份报告“本不该是她的工作”,但由于没有人做这项工作,最后还是落到了她身上。由于多年来业务的人员流动,Sally 对报告的形成过程有很多了解。作为“天然历史学家”,她最终承担了这个角色。Sally 解释了以下情况:
-
她知道报告中存在许多问题,尽管她尽了最大努力,但仍未能找到帮助她解决数据传输问题的人员(其中许多问题被记录在电子表格中)。
-
她经常收到带有错误的文件,这些错误未被解决
-
Sally 把这些知识大部分都记在心里,感激终于有人开始听取她的意见
你表示,尽管非常感激她介入支持公司准备这份关键报告,但你承诺会找到合适的人来负责未来的这个流程,她可以恢复其作为监督的适当角色。你要求 Sally 记录她已知的问题,帮助启动这个流程,她也同意了。
关键主题
ELT 提出了一些关键观察结果,并将其纳入了你的即时行动计划,这些观察结果得到了 CRO 的进一步支持:
主题 | 观察结果 |
---|---|
未能适当分隔职责 | Sally 不应同时准备和审核报告,因为这样会造成前线管理和第二线管理之间的职责分隔问题。这消除了风险管理的监督作用。 |
培训差距 | 银行的流动性流程缺乏适当的理解,这归因于缺乏关于如何正确处理数据和报告的重要性培训,包括数据将如何使用。 |
沟通障碍 | 如果有人发现数据或报告中存在问题,往往缺乏清晰的指引,说明这些信息应该传递给谁或应该采取什么措施。许多问题未被报告,已知的报告错误依然存在。 |
责任和问责 | 不清楚是谁负责报告的制作(与默认执行工作的人员区分开)。也不清楚谁最终对报告负责。 |
数据质量 | 与 ELT 讨论时,提出了许多已知的数据质量问题。问题的严重性或不重要性尚不清楚。 |
表格 17.1 – 报告中的关键观察结果
快速胜利
根据关键主题,你立即实施了以下变化,并将其纳入了你发送给 ELT 的 2 周报告中:
-
问责制:在企业财务部识别了一位报告准备者 Asha,负责将所有部门的数据整合成一份报告。由于财务部门的技能,这立即提升了对关键数据元素的有效控制的理解和重要性。
-
职责分隔:将报告准备和报告监督的角色分开,以便对流动性风险报告能力进行适当的第二道防线。这有效地让 Sally 能够审核并提供报告监督,这是她的适当职责。
-
培训:指定报告准备者负责培训所有参与报告准备的人员,包括数据管理员、数据治理、风险管理、报告负责人和首席风险官(CRO),使他们了解报告的内容、用途以及在准备报告时遵循适当控制的重要性。这项培训专注于每个人的角色及其重要性,以及如何在发现问题时采取适当措施。
-
文档化:报告准备者 Asha 与技术数据管理员合作,记录了数据从源头到报告的流动方式,这提高了对报告中使用的数据复杂性和报告准备流程的可见性。
-
所有权:任命首席风险官 Sally 为报告负责人,明确责任归属。
-
数据质量:收集了已知的数据和报告问题列表。为 Asha 创建了一个流程,使其能够持续获取并优先处理已知问题。
你带着一份三页的总结展示文档,向 ELT 概述了你发现的情况以及为解决问题所采取的立即措施:
图 17.2 – ELT 的总结材料
向高管团队传递长期解决方案的消息
在与公司 ELT 会面后的第 2 周末,你获得了全力支持,继续推进项目的下一个阶段:长期可持续性。你制定了一个针对长期解决方案的攻坚计划,并在初步汇报后 2 周,将以下计划反馈给 ELT:
-
建立数据和报告治理:这个具体案例变得至关重要,因为监管机构对这个特定报告提出了关切。然而,ELT 审查的所有关键报告缺乏治理,应该对其进行评估、审查并适当治理。
-
制定政策:需要有正式的政策要求,明确如何识别关键报告、推动有效治理所需的各个角色、每个角色的要求,以及存储关键信息的位置。
-
建立适当的工具:公司缺乏有效的数据治理工具。至少需要一个数据目录和数据质量工具。
-
建立数据质量框架:公司需要指定一名数据质量负责人,负责为企业定义数据质量框架。此人将设置并定义数据质量的要求,协助选择和操作工具,并支持衡量和报告全企业透明的数据质量,直至 ELT。
-
自动化报告流程:构建流动性报告的过程突显了在中西部银行(The Bank of the Midwest)生成关键报告时,工作具有较强的手动性质。在可能的情况下,自动化报告流程将加快流程并减少人为错误的风险。此过程需要持续设计和实施。
-
集中数据平台:企业内手动干预的程度以及使用电子表格传输数据的情况,造成了一个高强度的人工时间消耗环境,同时也增加了错误的风险。仅为了生成流动性报告,就共享了数百个电子表格;当这种情况推广到所有关键报告时,这一数字急剧增加。从长远来看,需要实施一个集中式数据平台,提供生成关键报告和运营业务所需数据的单一数据源。
你提出了三种推动长期计划的方案,涵盖了不同的速度、人员配备和成本。最终,执行领导团队(ELT)批准了大约 800 万美元的预算,以支持你提出的最快且最具可持续性的计划。该计划包括战略性招聘你计划中列出的关键人员,并立即雇佣承包商以迅速推动进展。首席财务官(CFO)和首席运营官(COO)同意在 ELT 层面共同赞助这项工作,并将共同主持企业数据委员会,以监督此项工作。接下来,你将这些计划提交给监管机构。
向监管机构报告
在与 ELT 会面并确保资金到位后,你会见了中西部银行的主要监管机构。在第一次会议中,你阐述了你的角色和立即需要解决流动性报告问题,并推动公司整体数据管理的需求。你使用了与 ELT 会议中相同的材料(在你上任两周后进行的会议及随后的会议)。监管机构特别提到,他赞赏管理层与他及其团队分享的内容的透明度和一致性。
总体而言,监管机构喜欢你与 CFO 和 COO 共同制定的方案和计划。他的唯一反馈是基于他对中西部银行的信任,以及从发现问题到你加入团队之间的时间差。因此,他要求你在计划中加入顾问,以便更快地推动计划的执行,并通过第三方验证你的方案。
你的经理——首席运营官(COO)出席了会议,并支持监管机构的要求,邀请额外的顾问提供对你的计划的外部意见。该额外资金也已获得批准。
如何设计具有影响力的迭代交付方案
接下来,你需要实现你的计划。你与企业数据委员会建立了定期的月度会议节奏,持续监督项目的成功,以确保工作的透明度和持续的支持。你将工作分为三个领域:
-
对流动性报告转型的即时监督
-
所有相关数据和报告的远程转型
-
数据管理和分析战略的远程实施
随着你推进这个计划的设计,三个领域中的每一个都在企业数据委员会上得到了更新的时间。你展示了短期更新和长期更新的混合内容。例如,你持续关注的一个领域是数据质量。
在第一次会议中,你展示了数据质量的现状:没有框架、没有负责人,也没有衡量数据质量的工具。你利用顾问收集了流动性报告的数据质量现状,以进一步量化问题:
-
70% 的问题与基础数据质量的差距有关
-
75 人被手动部署用于对每个报告的数据进行对账
-
15 名合同资源用于手动清洗数据
-
8%的记录在多个电子表格中重复
从短期来看,你展示了由项目资助的合同资源如何立即减少这些问题的数量。从长期来看,你展示了通过自动化和实施中央数据库的迭代改进,并能够基于这个初步的数据质量基线来衡量其影响。
你在长期计划的每个领域都采取了非常相似的方法,展示了不仅仅是在里程碑结束时的“胜利”,而是特别利用第五章中的信息,量化每个里程碑结果的影响,重点不仅在于交付了什么,还在于为什么这对业务有影响。你可能考虑了以下几点:
-
数据质量的百分比改进(例如,40%)
-
报告生产速度的提升
-
减少手动流程
你的团队为报告开发了一个“可信”指标,作为项目的一部分。这个指标表明了报告的可信度。如果报告是完全记录的,具有源流,并且质量得到了衡量并且在报告所有者定义的可接受阈值内,那么报告将被标记为“认证”。这为执行领导团队提供了信心,表明该报告已经得到首席数据和分析办公室的认可,可以依赖。
此外,监管机构在每次会议后两周也收到了与企业数据委员会相同的材料。监管机构随后有机会提供评论、反馈或提问。随着时间的推移,他们对这种方法建立了信心,最终减少了会议的频率。
结果
你能够迅速做出这些变化,是因为问题在 ELT 层级得到了可见性,并且监管推动要求迅速做出改变。你因立即采取行动并在组织中快速产生影响而收获了极大的反馈。这不仅对公司产生了立即的影响,还使你自己确立了作为关键业务领导者的地位。以下是你所取得成就的概述:
-
3 个月时:你能够展示报告的端到端流程,拥有对所有关键角色的明确所有权和责任,并且已经发布了草拟的政策供评论和审查。你已开始对所需工具进行供应商评估,并且逐步缩小选择范围。你建立了数据质量框架,利用了咨询资源,并开始与承包商一起实施手动质量检查。
-
6 个月时:你能够展示完全批准的政策、关键报告中的范围框架、明确的所有关键报告的所有权和责任、工具实施计划、解决即时问题的方案,并且监管机构已经降低了对“中西部银行”的关注度。
-
12 个月时:你的团队已完全投入工作。关键平台和工具的首次版本已经投入生产,且正在进行逐步上线。你已经将数据质量问题的数量减少了超过 50%,并且自动化了 20%的手动流程。流动性报告已成为你们组织的黄金标准,你的团队能够将精力转向其他报告以进行进一步改进。
不要浪费危机。当你获得领导团队的关注时,正如这个案例所展示的,你有机会展示(而不仅仅是讲述)如何以更加可信的方式更好地管理数据。这是如何创造即时价值的绝佳例子,同时也展示了通过长期投资可以做得更好的方面。
结论
在审视这个案例中的方法时,结合前面 16 章的内容,我希望能非常清楚地看到,数据治理没有单一的方法。每个公司和每个情况都是独特的。在一家公司的有效方法在另一家同类型的公司中未必能奏效。这就是为什么在这一章中我提供了替代选项,并在全书中展示了我之前成功和失败的例子。最终,任何数据专业人士的职业生涯中都会有成功和失败。对于我来说,最难学到的一课是:今年推荐的方法可能是过去曾推荐过的,但现在有效是因为公司面临着新的挑战或优先事项。因此,有时,仅仅是变化的环境就会让之前被拒绝的建议在现在的环境中奏效。
背景很重要。你愿意花时间建立本章中概述的能力的信任,将决定你的整体数据治理计划的成功。除了基于第二部分中的能力或书中提供的具体例子,最好的建议就是:倾听。
你的利益相关者与你讨论数据,因为他们在某种程度上相信,你能够帮助他们。构建有意义、真正能产生影响的解决方案的最佳和最有效方法是倾听你的利益相关者,并共同开发适合他们的解决方案。相反,你能做的最糟糕的事情就是进入一个组织,提出一套不具备独特性的统一建议。从倾听开始,然后一起构建。
产生影响的最佳方式是按照本案例研究中所概述的方法进行。倾听,开始交付小而快速的成果,进行有效的沟通以获得支持,并通过迭代交付以取得影响。最后,确保透明且经常性地衡量并报告你的进展。通过为开放沟通和持续交付奠定基础,你将建立对数据的信任。
我在为你加油!