|NO.Z.00004|——————————|BigDataEnd|——|Hadoop&PB级数仓.V04|——|PB数仓.v04|数仓理论|数仓分层|

一、数据仓库分层

### --- 数据仓库分层

~~~     数据仓库更多代表的是一种对数据的管理和使用的方式，
~~~     它是一整套包括了数据建模、ETL（数据抽取、转换、加载）、
~~~     作用调度等在内的完整的理论体系流程。数据仓库在构建过程中通常都需要进行分层处理。
~~~     业务不同，分层的技术处理手段也不同。
~~~     分层的主要原因是在管理数据的时候，能对数据有一个更加清晰的掌控。

二、详细来讲，主要有下面几个原因：

### --- 详细来讲，主要有下面几个原因：

~~~     # 清晰的数据结构
~~~     每一个数据分层都有它的作用域，在使用表的时候能更方便地定位和理解。

~~~     # 将复杂的问题简单化
~~~     将一个复杂的任务分解成多个步骤来完成，每一层只处理单一的问题，比较简单和容易理解。
~~~     而且便于维护数据的准确性，当数据出现问题之后，可以不用修复所有的数据，
~~~     只需要从有问题的地方开始修复。

~~~     # 减少重复开发
~~~     规范数据分层，开发一些通用的中间层数据，能够减少极大的重复计算。

~~~     # 屏蔽原始数据的异常
~~~     屏蔽业务的影响，不必改一次业务就需要重新接入数据。

~~~     # 数据血缘的追踪
~~~     最终给业务呈现的是一个能直接使用业务表，但是它的来源很多，
~~~     如果有一张来源表出问题了，借助血缘最终能够快速准确地定位到问题，并清楚它的危害范围。

三、数仓的分层

### --- 数仓的分层

~~~     数仓的常见分层一般为3层，分别为：数据操作层、数据仓库层和应用数据层（数据集市层）。
~~~     当然根据研发人员经验或者业务，可以分为更多不同的层，只要能达到流程清晰、方便查数即可。

~~~     # ODS（Operation Data Store 数据准备区）。
~~~     数据仓库源头系统的数据表通常会原封不动的存储一份，这称为ODS层，也称为准备区。
~~~     它们是后续数据仓库层加工数据的来源。

~~~     # ODS层数据的主要来源包括：
~~~     业务数据库。可使用DataX、Sqoop等工具来抽取，每天定时抽取一次；
~~~     在实时应用中，可用Canal监听MySQL的 Binlog，实时接入变更的数据；
~~~     埋点日志。线上系统会打入各种日志，这些日志一般以文件的形式保存，可以用Flume 定时抽取；
~~~     其他数据源。从第三方购买的数据、或是网络爬虫抓取的数据；

~~~     # DW（Data Warehouse 数据仓库层）。
~~~     包含DWD、DWS、DIM层，由ODS层数据加工而成。
~~~     主要完成数据加工与整合，建立一致性的维度，
~~~     构建可复用的面向分析和统计的明细事实表，以及汇总公共粒度的指标。

~~~     # DWD（Data Warehouse Detail 细节数据层），是业务层与数据仓库的隔离层。
~~~     以业务过程作为建模驱动，基于每个具体的业务过程特点，构建细粒度的明细层事实表。
~~~     可以结合企业的数据使用特点，将明细事实表的某些重要维度属性字段做适当冗余，也即宽表化处理；

~~~     # DWS（Data Warehouse Service 服务数据层），基于DWD的基础数据，
~~~     整合汇总成分析某一个主题域的服务数据。以分析的主题为建模驱动，
~~~     基于上层的应用和产品的指标需求，构建公共粒度的汇总指标事实表；
~~~     公共维度层（DIM）：基于维度建模理念思想，建立一致性维度；
~~~     TMP层 ：临时层，存放计算过程中临时产生的数据；

~~~     # ADS（Application Data Store 应用数据层）。

~~~     基于DW数据，整合汇总成主题域的服务数据，用于提供后续的业务查询等。
~~~     数据仓库层次的划分不是固定不变的，可以根据实际需求进行适当裁剪或者是添加。
~~~     如果业务相对简单和独立，可以将DWD、DWS进行合并。

---

 

 

 

 

 

 

 

 

 

---

Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart

                                                                                                                                                   ——W.S.Landor

---