数仓理论知识学习

https://blog.csdn.net/qq_46893497/article/details/113964444

目录

背景：

对数仓理论的知识实在是很模糊，所以咨询了一下公司的数仓大神，先对理解进行白话文输出：

事实表：

如订单表，借款记录表等等，各个维度的数据在一起，称为事实表。

订单表字段：id  用户名 商品编码  日期  价格  状态 等等。

维度表：

用户名，就算一个维度，对应的用户表，就是维度表。商品编码是一个维度  日期是一个维度等。可以group by 的字段都属于维度字段

特别说明：价格这种属于修饰词，不存在什么维度，他是指标重点需要统计的。

原子指标：

就是需要统计的东西，并不一定要具体到某个表，比如订单的原子指标为：订单量  金额等

派生指标：

对原子指标的统计：比如一个月的订单量 或 一个月的退款订单量 。 概括为：原子指标 + 维度修饰 + 业务限定

衍生指标：

对派生指标的概率，比如同比 环比  等

业务限定：

就是where后面的筛选条件

数据域：

一定是在数仓进行之前，就定好了

比如对于电商来说，数据域可以分为以下：

用户域     交易域   运营域   等按照某个具体的业务来划分

再比如表市场：

设备域   交易域  。设备域：就是各种设备，工商   民用  带远传  不带远传等

主题域：

是各个数据域进行的一个抽象，满足某一个主题。

比如上面：工商交易域：就属于一个主题域。

数据集市：

就是各种维度的汇总，一个宽表。

比如:有一张这样的表

维度(每月的数据 )  订单量  用户量   交易量  交易金额  退款量  退款金额 等等

这样很多数据从数据集市就可以拿到了。

 

对数据域和主题域进行二次讲解：

比如：有一家菜馆，厨房里面每天都要备很多菜，那么肯定要划分，分类管理：肉类   蔬菜类  海鲜类  这就属于数据域

按照客人的口味：徽菜  川菜  杭帮菜 这就属于主题域。主题域是已经做好的菜，数据域是还没做之前的划分。主题域和主题域之间可能会重叠，

比如：徽菜和杭帮菜 都有清蒸鲈鱼。

 

数据分层：

按照常见的：ODS  DWD   DWS  ADS  很多公司的数仓做到DWS就结束了

ODS:原始层数据，就是把各个地方数据汇总到一起，便于查找，一般放在HDFS上 。白话文：比如一个文件下：word  excel ppt等来自各式各样的数据。

DWD:维度数据补全，明细，比如用户表只有，公司id  ，则会不全，公司名称，联系电话  地址 公司编码等，使数据更加明细

DWS:轻度的汇总，按照不同的维度进行汇总，比如用户的订单量，  进一个月的订单数等等 

ADS :一般对应某个主题域，具体场景分析。