Hadoop develop

博学笃志,切问近思,此八字,是收放心的工夫。 神闲气静,智深勇沉,此八字,是干大事的本领。

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::
  189 随笔 :: 10 文章 :: 198 评论 :: 0 引用

公告

随笔分类 - 数据仓库

摘要: 累积事实表,是否需要拆分成不同的事实表。阅读全文
posted @ 2019-02-20 16:05 张子良 阅读(133) | 评论 (0) 编辑

摘要: 一、数据仓库架构 三、星型模型设计阅读全文
posted @ 2016-08-09 14:18 张子良 阅读(1390) | 评论 (0) 编辑

摘要: 一、总线架构 维度建模的数据仓库中,有一个概念叫Bus Architecture,中文一般翻译为“总线架构”。总线架构是Kimball的多维体系结构(MD)中的三个关键性概念之一,另两个是一致性维度(Conformed Dimension)和一致性事实(Conformed Fact)。 在多维体系结阅读全文
posted @ 2016-04-14 06:43 张子良 阅读(991) | 评论 (0) 编辑

摘要: 一、前言 Over the years, I have found that a matrix depiction of the data warehouse plan is a pretty good planning tool once you have gathered the busines阅读全文
posted @ 2016-04-14 05:58 张子良 阅读(599) | 评论 (1) 编辑

摘要: 电商数据仓库主题域模型设计;数据仓库数据分类体系;数据主题域划分注意要点;阅读全文
posted @ 2016-03-13 23:55 张子良 阅读(1177) | 评论 (3) 编辑

摘要: 数据建模语言阅读全文
posted @ 2015-11-25 15:40 张子良 阅读(679) | 评论 (0) 编辑

摘要: 数据建模语言阅读全文
posted @ 2015-11-25 14:21 张子良 阅读(420) | 评论 (0) 编辑

摘要: 分布式数据仓库建模实践指南目录篇 意见征集中....阅读全文
posted @ 2015-11-12 11:06 张子良 阅读(731) | 评论 (3) 编辑

摘要: 数据仓库建设原则第一条:一切为就绪数据让路;数据仓库建设原则第二条:业务分析和数据分析深浅有度;数据仓库建设原则第三条:数据价值挖掘切莫求之过急,水到渠才能成;数据仓库建设原则第四条:团队目标必须一致,可以有异议,但是不可有异声;数据仓库建设原则第五条:资深行业专家团队系统建设采用自顶向下,其他模...阅读全文
posted @ 2015-10-27 11:36 张子良 阅读(828) | 评论 (0) 编辑

摘要: 一、概述 星型模型设计,经常遇到的问题便是,此业务过程之维度,恰恰是另外一个业务过程的事实。最简单的例子如,产品销售业务活动,以订单为事实,以客户、产品、销售人员等为维度;而产品维度,在产品生产业务过程中则作为事实存在。那么问题来了,模型设计时,在逻辑模型层次如何表征这种关系,在物理模型层,又如何...阅读全文
posted @ 2015-10-16 15:23 张子良 阅读(945) | 评论 (0) 编辑

摘要: 一、数据分类模型二、数据分类定义元数据(metadata,Reference DataMaster DataEnterprise structure Data,Transaction Activity Data)引用数据(),主数据(),企业结构数据()交易活动数据()交易审计数据(Transac...阅读全文
posted @ 2015-09-15 12:52 张子良 阅读(932) | 评论 (0) 编辑

摘要: 缓慢变化维度的处理阅读全文
posted @ 2015-05-21 16:55 张子良 阅读(640) | 评论 (0) 编辑

摘要: 数据仓库建模过程中,针对事务型事实表设计,经常会遇到维度属性选择的问题,比如客户维度,在操作型系统中,为了跟踪客户状态的变化,往往会附加客户记录的四个属性: 1.add time:添加时间;   2.add user:添加用户;   3.mod time:修改时间;   4.mod user:修改用户;   问题在于,当我们进行维度建模的时候,如果以客户作为维度,是否应该考虑以上四个属性?阅读全文
posted @ 2015-05-13 16:18 张子良 阅读(688) | 评论 (1) 编辑

摘要: 维度建模10大基本原则阅读全文
posted @ 2015-05-06 17:26 张子良 阅读(1460) | 评论 (0) 编辑

摘要: 主题域通常是联系较为紧密的数据主题的集合。可以根据业务的关注点,将这些数据主题划分到不同的主题域。主题域的确定必须由最终用户和数据仓库的设计人员共同完成。阅读全文
posted @ 2015-04-27 00:00 张子良 阅读(3794) | 评论 (0) 编辑

摘要: 分布式数据仓库模型的架构设计,受分布式技术的影响,很多有自己特色的地方,但是在概念模型和逻辑模型设计方面,还是有很多可以从传统数据仓库模型进行借鉴的地方。NCR FS-LDM数据模型是金融行业事实上的工业标准。也是各行业数据仓库模型的基础和蓝本。本文以NCR FS-LDM10.0版本为基础,介绍NCR FS-LDM主题域模型的划分和定义。阅读全文
posted @ 2015-04-21 10:27 张子良 阅读(1855) | 评论 (0) 编辑

摘要: 如何构建主题域模型原则是构建企业级数据仓库重要的议题,最好的路径就是参照成熟的体系。IBM金融数据模型数据存储模型FSDM,是金融行业应用极为广泛的数据模型,可以作为我们构建企业级数据仓库主题域模型划分的重要依据。本文就IBM FSDM主题域模型进行初步的介绍。阅读全文
posted @ 2015-04-19 09:58 张子良 阅读(1727) | 评论 (0) 编辑

摘要: 分布式数据仓库事实表设计思考续,关于分布式环境下,维表和事实表设计讨论帖:以键代值得争议和探讨阅读全文
posted @ 2015-04-16 17:21 张子良 阅读(1486) | 评论 (0) 编辑

摘要: 事实表记录发生在现实世界中的操作型事件,其所产生的可度数值。事实表的设计完全依赖于物理活动,不受可能产生的最终报表的影响。事实表中,除数字度量外,事实表总是包含外键,用于关联与之相关的维度,也可以包含退化的维度键和日期/时间戳。阅读全文
posted @ 2015-04-14 18:26 张子良 阅读(3376) | 评论 (3) 编辑

摘要: 四步过程维度建模由Kimball提出,可以做为业务梳理、数据梳理后进行多维数据模型设计的指导流程,但是不能作为数据仓库系统建设的指导流程。本文就相关流程及核心问题进行解读。阅读全文
posted @ 2015-03-31 16:30 张子良 阅读(4401) | 评论 (0) 编辑

摘要: 数据仓库生命周期模型阅读全文
posted @ 2015-03-31 11:21 张子良 阅读(1832) | 评论 (0) 编辑

摘要: 唯一索引、非唯索引、主键索引、聚集索引。阅读全文
posted @ 2015-01-20 21:46 张子良 阅读(630) | 评论 (0) 编辑

摘要: 一、引言 最近在梳理大数据模式下的数据仓库数据模型,花了点时间,系统的回顾一下传统数据仓库数据模型设计的理论,作为笔记分享给大家,很多资料来自互联网和读过的数据仓库理论和实践相关的熟悉,无剽窃之心,共勉吧。二、3NF(1)1NF-无重复的列 数据库表的每一列都是不可分割的基本数据项,同一列中不能...阅读全文
posted @ 2015-01-20 11:01 张子良 阅读(2770) | 评论 (3) 编辑

摘要: 事实星座模式是数据仓库最长使用的数据模式,尤其是企业级数据仓库(EDW)。这也是数据仓库区别于数据集市的一个典型的特征,从根本上而言,数据仓库数据模型的模式更多是为了避免冗余和数据复用,套用现成的模式,是设计数据仓库最合理的选择。当然大数据技术体系下,数据仓库数据模型的设计,还是一个盲点,探索中。阅读全文
posted @ 2015-01-20 09:34 张子良 阅读(20531) | 评论 (4) 编辑

摘要: 银行业:IBM有BDWM(Banking Data Warehouse Model);Teradata有FS-LDM(Financial Services Logical Data Model)。   电信业:IBM有TDWM(Telecom Data Warehouse Model);Teradata有TS-LDM(Telecom Services Logical Data Model)。   Teradata FS-LDM7.0是一个成熟产品,在一个集成的模型内支持保险、银行及证券,包含十大主题:当事人、产品、协议、事件、资产、财务、机构、地域、营销、渠道。阅读全文
posted @ 2015-01-12 10:35 张子良 阅读(2544) | 评论 (1) 编辑