读数据架构知识体系指南18人员和流程(上)

1. 人员和流程

1.1. 在数据架构的复杂世界中，虽然技术和工具可能成为焦点，但人员和流程构成了其核心和灵魂

1.2. 数据架构的革新不仅需要技术重组，还需要组织文化的深刻转变

1.3. 改变数据的管理、处理和评估方式意味着重新调整团队对数据的认识和交互方式

• 1.3.1. 意味着要挑战既定规范并接受新方法

1.4. 转变从来都不仅仅是技术性的，而是要从人本身做起

1.5. 人性因素的核心是明确人员任务分工

• 1.5.1. 明确了人员任务分工，并确保每个团队成员深知自身的责任，同时拥有履行职责的资源，是创造完美架构的坚实基石

1.6. 数据转型的成功和解决方案的失败都可以追溯到人员管理和流程设计

1.7. 虽然工具和技术在不断发展，但决定能否借助它们取得成功的，是人员和流程

1.8. 人和技术不是非此即彼的选择

• 1.8.1. 需要和谐融合，相互提升

2. 团队组织

2.1. 构建数据架构需要一个（或多个）具有多样化技能和分工的团队

• 2.1.1. 在较小的公司中，一个人可能承担多个分工

• 2.1.2. 在较大的公司中，几个人可能承担同一个分工

2.2. 数据架构师

• 2.2.1. 负责数据架构（MDW、数据经纬或数据湖仓）的高级结构设计，并决定项目应使用哪些技术和数据治理政策

2.3. 数据工程师

• 2.3.1. 负责构建、测试和维护数据架构

• 2.3.2. 编写脚本，从各种来源提取、加载和转换数据(ELT)到数据解决方案中，并与数据架构师密切合作实施设计的架构

2.4. 数据管理员

• 2.4.1. 负责数据质量和治理

• 2.4.2. 定义并实施数据使用规则和标准，监督数据清理，管理数据访问权限，并与用户合作解决任何数据质量或访问问题

2.5. 数据库管理员

• 2.5.1. DBA

• 2.5.2. 负责数据系统的运行、维护和性能

• 2.5.3. 实施备份和恢复计划，优化查询以提高性能，并保持系统平稳运行

2.6. 数据分析师

• 2.6.1. 负责对大型数据集收集、处理，并进行统计描述和诊断性分析

• 2.6.2. 识别模式和趋势，将这些复杂的结果转化为可理解的结论，并与参与方沟通

• 2.6.3. 创建全面的报告和商业智能仪表盘来跟踪业务指标

2.7. 数据科学家

• 2.7.1. 通过使用高级统计技术、预测建模和机器学习，从数据中提取有价值的信息，并解决复杂问题

• 2.7.2. 设计和实施ML模型，执行预测和规范分析，进行A/B测试，并挖掘数据

• 2.7.3. 提供基于数据驱动的结论和建议，以影响战略和运营决策

2.8. 业务分析师

• 2.8.1. 在数据团队和业务用户之间进行沟通，并帮助确定数据架构的业务需求，然后将其转化为技术需求

• 2.8.2. 验证数据分析师和科学家的结论，并将之与业务用户进行沟通

2.9. 项目经理

• 2.9.1. Scrum主管

• 2.9.2. 协调团队的工作，确保他们按计划实现目标，并解决各种阻碍

• 2.9.3. 向参与方传达项目状态并应对各种风险

2.10. 数据隐私官员

• 2.10.1. 确保遵守数据隐私法规，与数据管理员合作并制定数据使用政策，以及应对各种数据隐私事件

• 2.10.2. 在某些行业或地区，法规要求设立这一职位

2.11. 数据治理经理

• 2.11.1. 确保组织部门数据的可得性、可用性、完整性和安全性，并创建和执行数据管理政策和程序，以确保所有业务部门都能最佳的运行

2.12. 数据质量经理

• 2.12.1. 监督数据的完整性、一致性和准确性，包括实施数据质量规则，监控数据质量指标，并与其他团队协调解决数据质量问题

3. 数据网格的分工

3.1. 数据网格方法将数据视为组织内不同领域之间共享的资产

3.2. 数据网格方法不是由中央数据团队处理所有数据，而是将责任分配给跨职能领域团队

3.3. 每个团队对其生产的数据负责，在确保其质量的前提下将数据作为产品提供给其他部门使用和访问

• 3.3.1. 大大改变了所需的团队、分工和职责

• 3.3.2. 逐个团队进行分析

3.4. 域团队

• 3.4.1. 每个领域有一个域团队

• 3.4.2. 数据网格特有的一个额外分工是数据产品所有者

• 3.4.3. 领域数据产品所有者负责其领域生产的数据

• 3.4.4. 管理其生命周期、确保其质量、使其可访问并使其与业务需求保持一致

• 3.4.5. 产品所有者应该同时了解数据的技术和业务方面内容

3.5. 自助数据基础设施平台团队

• 3.5.1. 数据网格架构师

• 3.5.1.1. 设计总体架构和指南，引导领域团队的共同协作，并促进互相沟通和学习

• 3.5.2. 平台架构师

• 3.5.2.1. 设计数据平台的整体架构，以支持各领域的需求，并使数据平台能适应各种数据类型、工作负载和分析工具

• 3.5.3. 平台工程师/开发人员

• 3.5.3.1. 构建和维护平台基础设施，包括数据库、API、容器编排和其他方面

• 3.5.4. 数据工程师

• 3.5.4.1. 致力于在平台内移动和转换数据的管道，确保数据清洁、一致并可供所有需要的人使用

• 3.5.5. DevOps工程师

• 3.5.5.1. 负责自动化平台部署、扩展和管理，确保平台稳定可靠，并能满足数据团队的需求

• 3.5.6. DataOps工程师

• 3.5.6.1. 负责管理和优化数据和数据科学模型的端到端生命周期，包括监控数据质量并确保满足数据隐私和合规要求

• 3.5.7. 安全和合规官

• 3.5.7.1. 确保平台遵循数据安全和隐私的所有必要法规，并且执行最佳运行方案

• 3.5.8. 产品所有者/经理

• 3.5.8.1. 作为技术团队和业务利益相关者之间的纽带，尽可能管理、优化和改善平台功能，以符合用户需求和业务目标

• 3.5.9. 用户体验(UX)设计师

• 3.5.9.1. 负责设计领域团队用于与平台交互的界面，旨在易用性和有效性

• 3.5.10. 支持和培训人员

• 3.5.10.1. 协助领域团队使用平台，解决问题，并培训新用户

3.6. 联邦计算治理平台团队

• 3.6.1. 供必要的指导，以帮助每个领域团队管理其数据，使其与组织的政策和标准保持一致

• 3.6.2. 数据治理负责人

• 3.6.2.1. 指导整体治理策略，并确保团队的举措与组织的战略目标一致

• 3.6.2.2. 与各个领域的代表和主题专家进行协调，定义治理标准和政策

• 3.6.3. 数据治理专家

• 3.6.3.1. 制定和监督数据标准和政策，与领域团队密切合作，确保他们正确应用指南

• 3.6.4. 数据隐私和合规官

• 3.6.4.1. 确保领域团队遵守数据隐私法规和内部合规政策，同时在与外部法律和合规专家合作时，就法律和监管考虑事项为团队提供指导

• 3.6.5. 数据安全分析师

• 3.6.5.1. 定义领域团队必须遵循的安全标准和程序，为他们提供指导，并确保他们遵循治理政策的安全方面内容

• 3.6.6. 数据质量专家

• 3.6.6.1. 定义质量标准和程序，以确保整个组织生成的数据质量

• 3.6.6.2. 与领域团队合作并设置数据质量指标和监控系统

• 3.6.7. 领域代表

• 3.6.7.1. 作为领域团队的代表，将特定领域的数据知识带到治理平台团队，并确保治理政策与其领域的需求保持一致

• 3.6.8. 数据架构师

• 3.6.8.1. 定义数据建模标准，包括设计和管理逻辑和物理数据模型

• 3.6.9. DataOps工程师

• 3.6.9.1. 负责自动化数据治理政策的实施和监控

• 3.6.9.2. 维护支持数据标记和其他数据识别和管理机制的系统和工具

3.7. 每个团队的确切分工和职责将根据组织及其数据网格的具体情况而有所不同

• 3.7.1. 每个领域团队都对该领域作为产品的数据负责

3.8. 架构应该灵活，以应对业务和技术环境的变化，并且足够强大以确保数据质量和可用性