dataworks数据建模

数据模型包括: 概念模型、逻辑模型和物理模型

概念模型是梳理企业业务流程得出来的,用来描述重要实体之间的关系。比如每个企业有不同的部门,每个部门有不同的员工,每个员工有不同的薪资,那么,部门、员工、薪资就是三个不同的实体。概念模型就可以描述这三个实体之间的关系。

逻辑模型是对概念模型的细化,确定每个实体的属性和描述。比如员工模型包括 姓名、性别、年龄、身份证号等等属性。

物理模型是面向引擎的模型,是基于物理特性考虑各种具体技术实现因素的模型, 是只能存放在引擎中的。

 

 Dataworks数据建模同时支持 关系建模和维度建模(星型模型和雪花模型)

关系建模严格遵循三范式,数据冗余非常低,因为数据分布在不同的表中,这些数据可以被灵活的使用,主要应用在OLTP中,保证数据的一致性和避免冗余,所以大部分业务系统的表都遵循三范式。

 

 

维度建模通常应用在OLAP系统中,主要是面向业务,以分析决策需求为出发点构建模型,虽然数据存在冗余,但是方便查询得到数据,一般有比较好的大规模复杂查询的响应性能。

 

 

用户应该从企业的实际场景出发选择建模方式。根据经验总结,大多数企业都会同 时存在以上两种建模方式,底层模型用关系建模,力求做到数据精简,往上维度建模就 更适合,靠数据冗余带来可用性、分析性和可操作性。

 

模型设计要从高纬度对企业的业务过程中的业务实体进行梳理和描述,也就是用图形化的方式描述 维表和事实表。

 

数据建模

1.ODS层(原始数据层)为DWD提供原始数据,命名方面,不管是表命名,还是字段命名,尽量与业务系统保持一致。但是通过额外的标识符来标识数据是增量表还是全量表。

2.DWD层(明细数据层)

3.DWS层(服务数据层)

4.DIM层(公共维度层)

5.TMP层(临时数据层)

6.DM层(应用集市层)

 

posted @ 2021-09-01 15:17  豆豆sd66  阅读(407)  评论(0)    收藏  举报