数据仓库
一、 数据仓库如何分层? (项目实例进行)
标准的数据仓库分为:ods(临时存储层)、 pwd(数据仓库层)、mid(数据集市层)、app(应用层)。
ODS层:临时存储层。 他和系统源数据是同构的, 而且这一层数据粒度是最细的, 这一层的表分为两种, 一种是存储当前需要加载的数据, 一种是用于存储处理完的数据。
PWD层:数据仓库层。它的数据是干净的数据, 是一致准确的, 也就是清洗后的数据, 它的数据一般都遵循数据库第三范式,数据粒度和ODS相同, 他会保存系统中所有的历史数据。
MID层:数据集市层。它是面向主题组织数据的,通常是星型和雪花模型的数据,从数据粒度来讲,它是轻度汇总级别的数据,已经不存在明细的数据了, 从广度来讲, 它包含了所有业务数据。 从分析角度来看, 用户通常只需要分析近几年的数据。
APP层:数据应用层。这一层的数据是完全为了满足具体的分析需求而构建的数据, 也是星型或雪花模型的数据。 是高度汇总的数据,并不一定覆盖所有的业务数据, 而是MID层数据的一个真子集。
分享是进步的一大步
浙公网安备 33010602011771号