搞懂数据仓库、数据湖和湖仓一体

常常会听到“数据仓库”、“数据湖”与“湖仓一体”这几个术语。它们之间有什么区别？

数据仓库

数据仓库是以结构化格式存储的业务数据的中央存储库，为分析和报告目的提供统一的数据视图，使用户能够有效地访问和分析大量数据，从而支持决策过程。

数据仓库之父比尔・恩门（Bill Inmon）在 1991 年出版的《建立数据仓库》一书中，将数据仓库描述为一个面向主题的、集成的、随时间变化的、非易失的数据集合，用于支持管理者的决策过程。

面向主题 (Subject-Oriented)：数据仓库围绕特定主题组织数据，如客户、产品、销售等。例如，一个专注于销售的数据仓库，可用于回答 “去年谁是我们这款产品的最佳用户” 等问题，为主题明确的数据分析提供数据聚合服务。
集成 (Integrated)：企业内的数据通常分散在多个不同的数据源中，格式和标准各异。数据仓库需要将这些分散的数据抽取出来，经过清洗、转换等操作，统一成一致的、无歧义的数据格式后，再放置到数据仓库中，形成关于整个企业的一致的全局信息。
随时间变化 (Time-Variant)：数据仓库关注数据随时间的变化情况，它存储的是一系列历史数据快照，记录了企业从过去某一时点到当前的各个阶段的信息。当改变的操作型数据进入数据仓库时会产生新的记录，保留数据变化的历史轨迹，以便进行趋势分析和预测。
非易失 (Non-Volatile)：数据仓库中的数据主要用于查询和分析，一旦数据进入数据仓库，一般会被长期保留，很少进行修改和删除操作。这保证了数据的稳定性和可靠性，使得数据分析人员能够基于历史数据进行有效的分析。

数据仓库适合于结构化数据的 BI 报表、仪表盘等应用，对数据质量要求高，通常需要 ETL 过程做严格清洗与建模。这种架构也被称为 Schema-on-Write。