代码改变世界

随笔分类 -  12 - 数据仓库

数据仓库设计小知识之一个属性的维度设计

2015-07-22 11:40 by BIWORK, 4552 阅读, 收藏, 编辑
摘要: 我们通常在数据仓库的设计中碰到这种问题:在维度设计中如果这个维度只有一个属性,那我们面临的选择是为这个属性单独创建一个维度,还是将这个维度的属性直接放在事实表中作为事实表的一部分?假设这里有一个维度,通常在设计上至少会有两列(DimKey 和 DimAttribute 属性),事实表通过 DimKe... 阅读全文

Microsoft 家族新成员 Datazen 移动BI 介绍

2015-05-25 10:10 by BIWORK, 8344 阅读, 收藏, 编辑
摘要: 开篇介绍Microsoft 在上个月即 2015年4月份收购了 Datazen www.datazen.com, Datazen 专注于移动 BI 和数据可视化领域,并且它的基本部署与配置架构都是基于 Microsoft SQL Server 的,这也是微软考虑收购 Datazen 的一个非常重要的... 阅读全文

如何在 ETL 项目中统一管理上百个 SSIS 包的日志和包配置框架

2014-02-19 02:00 by BIWORK, 13663 阅读, 收藏, 编辑
摘要: 一直准备写这么一篇有关 SSIS 日志系统的文章,但是发现很难一次写的很完整。因为这篇文章的内容可扩展的性太强,每多扩展一部分就意味着需要更多代码,示例和理论支撑。因此,我选择我觉得比较通用的 LOG 部分,在这里分享一下给大家,希望对大家在设计 ETL 的日志系统时有所启发和帮助。当然在这里要区分... 阅读全文

一般数据库增量数据处理和数据仓库增量数据处理的几种策略

2013-11-27 17:30 by BIWORK, 22074 阅读, 收藏, 编辑
摘要: 开篇介绍通常在数据量较少的情况下,我们从一个数据源将全部数据加载到目标数据库的时候可以采取的策略可以是:先将目标数据库的数据全部清空掉,然后全部重新从数据源加载进来。这是一个最简单并且最直观的并且不容易出错的一种解决方案,但是在很多时候会带来性能上的问题。如果我们的数据源来自于不同的业务系统,数据动... 阅读全文

数据仓库系列 - 缓慢渐变维度 (Slowly Changing Dimension) 常见的三种类型及原型设计

2013-10-11 16:38 by BIWORK, 20825 阅读, 收藏, 编辑
摘要: 开篇介绍在从OLTP业务数据库向DW数据仓库抽取数据的过程中,特别是第一次导入之后的每一次增量抽取往往会遇到这样的问题:业务数据库中的一些数据发生了更改,到底要不要将这些变化也反映到数据仓库中?在数据仓库中,哪些数据应该随之变化,哪些可以不用变化?考虑到这些变化,在数据仓库中的维度表又应该如何设计以... 阅读全文

BI 系列随笔列表 (SSIS, SSRS, SSAS, MDX, SQL Server)

2013-09-18 18:25 by BIWORK, 38024 阅读, 收藏, 编辑
摘要: 微软 BI ETL 架构设计 如何在 ETL 项目中统一管理上百个 SSIS 包的日志和包配置框架 如何管理和记录 SSIS 各个 Task 的开始执行时间和结束时间以及 Task 中添加|删除|修改的记录数 微软 BI SSIS 系列 微软BI 之SSIS 系列 - 在 SSIS 中读取 Shar 阅读全文