读数据架构知识体系指南05数据存储

1. 数据存储

1.1. 在数字时代，数据已成为组织的血液

• 1.1.1. 仅仅拥有数据是不够的

• 1.1.2. 如何有效地管理、存储和处理这些数据才是真正的价值所在

1.2. 数据管理的各个组件就像复杂机器中的齿轮，每个组件都发挥着独特的作用，但它们又协同工作以实现共同的目标

1.3. 虽然数据集市提供了针对特定部门的数据视图，但运营数据存储则提供了更广泛、实时的业务运营视图

1.4. 主数据管理确保了数据的一致性和可靠性，而数据虚拟化则提供了来自各种数据来源的统一、抽象的视图

1.5. 数据目录作为参考指南，使数据发现变得轻而易举，而数据市场则为数据共享甚至商业化打开了大门

1.6. 数据中心作为系统的数据核心，整合并管理来自不同来源的数据，以实现统一访问

1.7. 当它们被整合在一起时，就能形成一个强大的、全面的数据战略，推动企业朝着明智决策、提高运营效率和增强竞争优势的方向发展

1.8. 无论你是经验丰富的数据科学家、有抱负的数据专业人士还是战略决策者，理解这些关键组件并学会使它们协同工作，都能够激发所在组织的数据的真正潜力

1.9. 数据存储解决方案不仅仅是存储和处理数据，更是为数据驱动的转型奠定基础

2. 数据集市

2.1. 数据集市是数据仓库的一个子集

2.2. 常被设计为一个有针对性的数据存储库，以满足组织内某个部门或业务线的特定需求

2.3. 由于其范围较小，数据集市可以为用户提供比普通数据仓库(DW)更简化、更易访问的信息视图

2.4. 对于用户来说，在存储大量数据的庞大且复杂的数据仓库中找到自己需要的数据可能是一大挑战

2.5. 数据集市通过从DW中提取并整合相关数据，并以更加用户友好的方式呈现，从而解决了这一难题

2.6. 部门内的用户就可以轻松地找到并检索所需的数据

2.7. 关键优势是其可以由各个部门自己创建和维护，而不必完全依赖于IT部门

• 2.7.1. 每个数据集市可以根据所服务部门的需求进行不同的结构化设计

• 2.7.2. 用户能够更好地控制数据，他们可以根据自己的独特需求定制数据，并使用最合适的数据结构

2.8. 针对特定部门的数据集市使用户能够更快、更轻松地访问他们日常运营和决策过程中所需的数据

• 2.8.1. 可以执行分析查询、生成报告，并深入了解其所在部门的绩效，而无须浏览整个数据仓库

2.9. 有利于数据治理和安全性

• 2.9.1. 每个部门都可以为自己的数据集市定义和实施访问策略，确保只有经过授权的人员才能访问特定数据集

• 2.9.2. 有助于保护敏感信息，并确保遵守数据隐私法规

3. 运营数据存储

3.1. 运营数据存储(ODS)的范围比数据集市更广，它为整个企业提供实时的数据视图

3.2. ODS呈现了企业运营数据的全面概览

3.3. 如果数据集市是通过显微镜来观察数据的，那么ODS则是用广角镜头来审视数据

3.4. 目的是整合来自不同来源的企业数据，以实现（或接近）实时的运营报告

3.5. 并不是数据仓库

• 3.5.1. 提供数据的速度比数据仓库更快：几分钟更新一次，而不是每天更新一次

3.6. 存储的是运营数据，而不是分析数据

3.7. 如果组织目前用于报告的源系统中的数据过于有限，或者组织希望获得比源系统提供的功能更好、更强大的报告工具，那么采用运营数据存储也许会是一个合适的选择

3.8. 如果只有少数人拥有访问源系统所需的安全权限，但又希望允许其他人生成报告，运营数据存储也可能是一个很好的解决方案

3.9. ODS中的数据结构与源系统中的数据结构类似

3.10. ODS解决方案可以清理、规范数据，并对数据应用业务规则，以确保数据的完整性

3.11. 不需要为历史和趋势分析优化ODS，因为这是在数据仓库中完成的

3.12. ODS中数据的实时性比数据仓库中数据的实时性更好

3.13. 将ODS用作数据仓库的暂存区域之一，至少对于它维护的数据来说是这样的

3.14. 对该数据进行核对和清理，以近乎实时的方式填充ODS，从而为那些需要利用这些数据进行运营和战术决策的人员提供价值

3.15. 可以使用它来填充数据仓库，数据仓库对加载周期的要求通常较低

3.16. 仍然需要使用暂存区域来暂存ODS中不存在但数据仓库所需的数据，但是遵循我的建议，可以减少ETL流和暂存区域的大小

3.17. 有助于在不牺牲性能或功能的前提下提高性能

4. 数据中心

4.1. 数据中心是一个集中化的数据存储和管理系统，帮助组织收集、整合、存储、组织并共享来自各种来源的数据，同时提供了便捷的数据分析、报告和决策工具

4.2. 数据中心消除了在系统之间交换数据时需要使用数百甚至数千个点对点接口的需求

4.3. 数据仓库和数据湖的主要（通常是唯一的）作用是为分析服务提供数据，但数据中心在作为运营系统之间的通信和数据交换方面也很有价值

4.4. 数据中心通常与数据湖和数据仓库结合使用，以构建一套全面的数据管理基础设施

4.5. 数据湖存储大量原始的、未经处理的数据，而数据仓库存储经过结构化、加工、针对分析处理优化后的数据

4.6. 数据中心则通过充当数据交换、协作和治理的中介，对这些系统进行补充

4.7. 数据中心存储源数据的副本，并专注于数据的管理和分发，而数据目录则不存储实际数据，主要关注元数据管理、数据沿袭（又叫数据血缘）​、执行数据治理策略以及促进数据发现

4.8. 数据中心可以为数据市场提供数据源，但数据市场本身并不存储数据

4.9. 数据中心专注于在组织内部管理和分发数据，而数据市场专注于商业交易

4.10. 数据中心是一个集中平台，使用的存储系统比数据湖或关系数据仓库更多

• 4.10.1. 数据湖通常使用对象存储来存储数据，而关系数据仓库使用关系存储

• 4.10.2. 数据中心则可以结合关系数据库、非关系数据库和数据湖等存储系统

4.11. 与数据湖类似，数据中心支持结构化、半结构化和非结构化数据

• 4.11.1. 关系数据仓库仅支持结构化数据

4.12. 数据中心更有可能提供内置的数据目录、数据沿袭和访问控制机制，而数据湖通常需要集成第三方工具或自定义解决方案来实现这些功能

• 4.12.1. 在数据处理方面，数据湖使用计算资源清理数据并将其存回数据湖中

• 4.12.2. 关系数据仓库则为了分析，进行大量的数据处理，包括ETL（提取、转换、加载）操作，以清理、规范化和结构化数据

• 4.12.3. 对于数据中心，数据通常在中心外部使用外部工具或应用程序进行转换和分析

4.13. 数据中心是一种灵活且多功能的解决方案，可用于从各种类型和来源中摄取、管理、整合和分发数据

• 4.13.1. 数据湖专注于存储和处理用于分析和机器学习的大量原始数据

• 4.13.2. 数据仓库则针对结构化数据存储进行了优化，可用于复杂分析、报告和决策支持