Hadoop develop

博学笃志,切问近思,此八字,是收放心的工夫。 神闲气静,智深勇沉,此八字,是干大事的本领。

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::

随笔分类 -  数据仓库

1 2 下一页

摘要:​一、前言 数仓建模的成熟度在金融领域,尤其是银行、保险和证券行业得益于传统数据仓库服务厂商的推动,具有非常好的最佳实践,但是在互联网领域却从未形成真正的标准和规范。本文基于汽车电商零售领域的实践总结和沉淀而来,作为随笔,发布与此,共享给大家。 二、工作流程 数仓模型设计的工作流程,基于场景不同略有 阅读全文
posted @ 2021-08-17 14:52 张子良 阅读(857) 评论(0) 推荐(1) 编辑

摘要:累积事实表,是否需要拆分成不同的事实表。 阅读全文
posted @ 2019-02-20 16:05 张子良 阅读(748) 评论(0) 推荐(0) 编辑

摘要:一、数据仓库架构 三、星型模型设计 阅读全文
posted @ 2016-08-09 14:18 张子良 阅读(2365) 评论(0) 推荐(0) 编辑

摘要:一、总线架构 维度建模的数据仓库中,有一个概念叫Bus Architecture,中文一般翻译为“总线架构”。总线架构是Kimball的多维体系结构(MD)中的三个关键性概念之一,另两个是一致性维度(Conformed Dimension)和一致性事实(Conformed Fact)。 在多维体系结 阅读全文
posted @ 2016-04-14 06:43 张子良 阅读(1874) 评论(0) 推荐(0) 编辑

摘要:一、前言 Over the years, I have found that a matrix depiction of the data warehouse plan is a pretty good planning tool once you have gathered the busines 阅读全文
posted @ 2016-04-14 05:58 张子良 阅读(2402) 评论(1) 推荐(0) 编辑

摘要:电商数据仓库主题域模型设计;数据仓库数据分类体系;数据主题域划分注意要点; 阅读全文
posted @ 2016-03-13 23:55 张子良 阅读(3605) 评论(3) 推荐(0) 编辑

摘要:数据建模语言 阅读全文
posted @ 2015-11-25 15:40 张子良 阅读(1626) 评论(0) 推荐(0) 编辑

摘要:数据建模语言 阅读全文
posted @ 2015-11-25 14:21 张子良 阅读(1329) 评论(0) 推荐(0) 编辑

摘要:分布式数据仓库建模实践指南目录篇 意见征集中.... 阅读全文
posted @ 2015-11-12 11:06 张子良 阅读(1161) 评论(3) 推荐(0) 编辑

摘要:数据仓库建设原则第一条:一切为就绪数据让路;数据仓库建设原则第二条:业务分析和数据分析深浅有度;数据仓库建设原则第三条:数据价值挖掘切莫求之过急,水到渠才能成;数据仓库建设原则第四条:团队目标必须一致,可以有异议,但是不可有异声;数据仓库建设原则第五条:资深行业专家团队系统建设采用自顶向下,其他模... 阅读全文
posted @ 2015-10-27 11:36 张子良 阅读(1446) 评论(0) 推荐(0) 编辑

摘要:一、概述 星型模型设计,经常遇到的问题便是,此业务过程之维度,恰恰是另外一个业务过程的事实。最简单的例子如,产品销售业务活动,以订单为事实,以客户、产品、销售人员等为维度;而产品维度,在产品生产业务过程中则作为事实存在。那么问题来了,模型设计时,在逻辑模型层次如何表征这种关系,在物理模型层,又如何... 阅读全文
posted @ 2015-10-16 15:23 张子良 阅读(1707) 评论(0) 推荐(0) 编辑

摘要:一、数据分类模型二、数据分类定义元数据(metadata,Reference DataMaster DataEnterprise structure Data,Transaction Activity Data)引用数据(),主数据(),企业结构数据()交易活动数据()交易审计数据(Transac... 阅读全文
posted @ 2015-09-15 12:52 张子良 阅读(1562) 评论(0) 推荐(0) 编辑

摘要:缓慢变化维度的处理 阅读全文
posted @ 2015-05-21 16:55 张子良 阅读(1232) 评论(0) 推荐(0) 编辑

摘要:数据仓库建模过程中,针对事务型事实表设计,经常会遇到维度属性选择的问题,比如客户维度,在操作型系统中,为了跟踪客户状态的变化,往往会附加客户记录的四个属性: 1.add time:添加时间;   2.add user:添加用户;   3.mod time:修改时间;   4.mod user:修改用户;   问题在于,当我们进行维度建模的时候,如果以客户作为维度,是否应该考虑以上四个属性? 阅读全文
posted @ 2015-05-13 16:18 张子良 阅读(1080) 评论(1) 推荐(1) 编辑

摘要:维度建模10大基本原则 阅读全文
posted @ 2015-05-06 17:26 张子良 阅读(2440) 评论(0) 推荐(0) 编辑

摘要:主题域通常是联系较为紧密的数据主题的集合。可以根据业务的关注点,将这些数据主题划分到不同的主题域。主题域的确定必须由最终用户和数据仓库的设计人员共同完成。 阅读全文
posted @ 2015-04-27 00:00 张子良 阅读(9273) 评论(0) 推荐(1) 编辑

摘要:分布式数据仓库模型的架构设计,受分布式技术的影响,很多有自己特色的地方,但是在概念模型和逻辑模型设计方面,还是有很多可以从传统数据仓库模型进行借鉴的地方。NCR FS-LDM数据模型是金融行业事实上的工业标准。也是各行业数据仓库模型的基础和蓝本。本文以NCR FS-LDM10.0版本为基础,介绍NCR FS-LDM主题域模型的划分和定义。 阅读全文
posted @ 2015-04-21 10:27 张子良 阅读(3262) 评论(0) 推荐(0) 编辑

摘要:如何构建主题域模型原则是构建企业级数据仓库重要的议题,最好的路径就是参照成熟的体系。IBM金融数据模型数据存储模型FSDM,是金融行业应用极为广泛的数据模型,可以作为我们构建企业级数据仓库主题域模型划分的重要依据。本文就IBM FSDM主题域模型进行初步的介绍。 阅读全文
posted @ 2015-04-19 09:58 张子良 阅读(4052) 评论(0) 推荐(0) 编辑

摘要:分布式数据仓库事实表设计思考续,关于分布式环境下,维表和事实表设计讨论帖:以键代值得争议和探讨 阅读全文
posted @ 2015-04-16 17:21 张子良 阅读(2335) 评论(0) 推荐(0) 编辑

摘要:事实表记录发生在现实世界中的操作型事件,其所产生的可度数值。事实表的设计完全依赖于物理活动,不受可能产生的最终报表的影响。事实表中,除数字度量外,事实表总是包含外键,用于关联与之相关的维度,也可以包含退化的维度键和日期/时间戳。 阅读全文
posted @ 2015-04-14 18:26 张子良 阅读(5072) 评论(3) 推荐(3) 编辑

1 2 下一页