zourui4271

博客园 首页 新随笔 联系 订阅 管理

2015年12月7日 #

摘要: What steps do you take to determine the bottleneck of a slow running ETL process?如果ETL进程运行较慢,需要分哪几步去找到ETL系统的瓶颈问题。答:ETL系统遇到性能问题,运行很慢是一件较常见的事情,这时要做的是逐步找... 阅读全文
posted @ 2015-12-07 15:29 zourui4271 阅读(574) 评论(0) 推荐(0)

摘要: 把企业中的BI使用者的角色分成如下几类:系统管理员:没有数据权限;没有功能权限;负责配置其他人的权限;BI专家:拥有所有数据权限;拥有多维分析,报表查看,报表开发,模型开发权限;负责开发和维护BI系统;商务分析师:拥有所有数据权限;拥有多维分析,报表查看,报表开发权限;负责在公司和运营的层面进行数... 阅读全文
posted @ 2015-12-07 15:17 zourui4271 阅读(423) 评论(0) 推荐(0)

摘要: 最近在优化公司的数据仓库项目中ETL部分,发现有一处明显可以改进的地方,发出来和大家分享一下。在数据仓库中一个一个超级大维度表(1亿左右的记录),更新这个维度表的时候,采取的策略是最简单的1类渐变维度,即存在则更新,不存在则插入。原先的方式是在ETL过程中先查找这个大表本身,如果存在就打上updat... 阅读全文
posted @ 2015-12-07 14:43 zourui4271 阅读(343) 评论(0) 推荐(0)

摘要: http://www.doc88.com/p-1794327644475.html 阅读全文
posted @ 2015-12-07 14:18 zourui4271 阅读(169) 评论(0) 推荐(0)

摘要: 一、DW2.0从企业的角度,吸引企业的原因: 1.数据仓库基础设施的成本不再持续增长。在第一代数据仓库中,技术基础设施的成本是不断增长的,随着数据量的增长,基础设施的成本会以指数级增长。但是使用DW2.0,数据仓库的这一成本会趋于平稳。 2.使用元数据将基础设施结合在一起,这意味着数据不会轻易丢失。... 阅读全文
posted @ 2015-12-07 13:56 zourui4271 阅读(309) 评论(0) 推荐(0)

摘要: 二、ETL测试过程:在独立验证与确认下,与任何其他测试一样,ETL也经历同样的阶段。1)业务和需求分析并验证。2)测试方案编写3)从所有可用的输入条件来设计测试用例和测试场景进行测试4)执行所有用例直到满足退出标准5)书写总结报告和测试过程结束。三、ETL测试的规则:测试数据的正确性、一致性、完整性... 阅读全文
posted @ 2015-12-07 13:36 zourui4271 阅读(634) 评论(0) 推荐(0)