随笔分类 -  数仓建模

数据中台-问题1
摘要：P145 以下两点的描述不理解： 性能好： 数据冗余： P145 可通过多奇妙场景，以 维度-事实矩阵的形式说明 维度模型的可扩展性 P151 总线矩阵或事实-维度矩阵，也可以放到 该页中 P148 “早上小王在小卖部话5元钱购买了一个面包”：这句话中应该是有 四个 维度吧？ 时间-人/参与者-地点 阅读全文
posted @ 2020-02-16 11:43 后山前堂客 阅读(284) 评论(0) 推荐(0)
数据建模经典教程-物理数据模型
摘要：物理数据模型（PDM）是逻辑数据模型在特定软件或硬件环境下的折中方案。 建立概念模型阶段：就订单输入系统，学习了该系统涉及的概念、业务规则和应用范围，如 概念数据模型展示了以为Customer（客户）可能订购一个或多个Order（订单） 建立逻辑模型阶段：在理解订单输入系统需求的基础上，建立了一个表 阅读全文
posted @ 2020-02-09 22:31 后山前堂客 阅读(907) 评论(0) 推荐(0)
数据建模经典教程-逻辑数据模型
摘要：逻辑数据模型的说明 为了解决特定业务需求而形成的业务解决方案。逻辑数据模型以业务需求为基础，忽略软件环境、精简环境等具体问题有关的模型实现的复杂性。 针对一个订单输入系统，前期已经完成概念数据模型（概念、业务规则、义务范围）。在理解订单输入系统的需求之后，需要创建逻辑数据模型，其中包含需要交付给应用 阅读全文
posted @ 2020-02-09 18:08 后山前堂客 阅读(2042) 评论(0) 推荐(0)
浅谈 传统的数据建模和大数据场景下的数据建模
摘要：正月十五，夜已深，微冷，不一样的元宵节。 经常会被问起传统的数据建模和大数据建模有什么区别，于是就在这里总结一些自己的思考。 序号 区别项 传统数据建模 大数据建模 1 模型用途 业务应用的开发 大数据分析 2 前期调研内容 业务 业务、系统、数据 3 建模过程 调研业务，抽取业务活动涉及的关键的实 阅读全文
posted @ 2020-02-08 23:26 后山前堂客 阅读(1452) 评论(2) 推荐(1)
数据建模经典教程-概念数据模型
摘要：定义：包括概念及其定义，以及与概念绑定的业务规则 7.1 关系CDM和维度CDM的介绍 7.1.1 关系CDM 如 金融领域的 关系CDM，包括ER图（业务规则）和概念解释 ER图（绘图软件 EdrawMax 免费版） 客户、账户：使用直角矩形，表示强实体（不需要依赖外部其他实体而存在的实体） 账户 阅读全文
posted @ 2020-02-08 21:36 后山前堂客 阅读(925) 评论(0) 推荐(0)
数据建模经典教程-数据模型分类和建模方式
摘要：数据模型的分类对比 模型类型 模型定义 关系建模 （通过准确的业务规则来表述业务如何运作的过程） 维度建模 （通过准确的导航来描述业务是如何被监控的） 概念模型 描述预设范围内的业务需求 预设业务范围内的关键概念和相应的业务规则，如 “每位客户可以订购一个或多个订单” “单页”数据规则（20个概念之 阅读全文
posted @ 2020-02-08 21:34 后山前堂客 阅读(668) 评论(0) 推荐(0)
数据建模经典教程-模型、数据模型、实体、属性
摘要：1 什么是数据模型 ？ 模型是一组文字和各类符号的集合，用来讲一个复杂的概念简化。地图、组织结构图、设计蓝图都是复杂事物的过滤和简化。 数据模型是一组由符号、文本组成的集合，用以准确表达信息景观，达到有效交流、沟通的目的。电子表格是我们日常最熟悉的一种数据模型。 不同的数据模型可以反映不同的细节水平 阅读全文
posted @ 2020-02-08 11:58 后山前堂客 阅读(2034) 评论(0) 推荐(0)
数仓设计回忆录
摘要：1 便于及时相应业务db的变化，ODS层应该使用外部表，业务DB变化，可以将ODS层表drop表，然后重建表，新增加字段，原始数据中没有的字段在新的外部表中为null 2 便于及时相应业务应用的变化，ADM也应该使用外部表，道理同上 3 为了便于数据的测试、数据代码逻辑的可维护性，应该避免写出很长、 阅读全文
posted @ 2019-12-09 07:31 后山前堂客 阅读(222) 评论(0) 推荐(0)