Data Warehousing and Business Intelligence

摘要： DW/BI 系统在生命周期中需要许多不同的角色和技能，它们来自业务和技术领域。本文将介绍创建DW/BI 系统所涉及的主要角色。角色和人之间很少是一对一关系。与我们合作的团队小到只有一人，大到有40 人(听说有更大的)，大部分DW/BI 团队在3～10 个全职成员之间，并根据需要增加其他人。 单个DW/BI 团队常常同时承担开发和操作任务，不同于大部分技术项目团队，这与D... 阅读全文

摘要： DW/BI 系统是复杂的实体，构建这种系统的方法必须有助于简化复杂性。13 个方框显示了构建成功的数据仓库的主要任务区域，以及这些任务之间的主要依赖关系。 在生命周期这一级可以进行多方观察，首先注意业务需求定义方框的中心角色。业务需求提供了其后的3 个任务的基础，它们也影响着项目计划，因此箭头也指回项目规划方框。最终，我们经常要根据对业务需求和优先权的深入理解来修改项目规划。其次，生... 阅读全文

摘要： 索引是与表或视图关联的磁盘上结构，可以加快从表或视图中检索行的速度。 索引包含由表或视图中的一列或多列生成的键。 这些键存储在一个结构（B 树）中，使 SQL Server 可以快速有效地查找与键值关联的行。表或视图可以包含以下类型的索引：聚集聚集索引根据数据行的键值在表或视图中排序和存储这些数据行... 阅读全文

摘要： 1． 使用脚本任务（Script tasks) 组建的时候，在日志里增加一些调试信息，例如变量更新信息，可以帮助我们从日志中查看到变量是在何时何地更新的。2． 使用ForceExecutionResult属性，来检测工作流是如何在失败，成功或者是完成状态下的行为。3． 模拟长时间的运行查询，可以使用... 阅读全文

摘要： 以下是我对SSIS包进行code review的一些建议，如果有其他更好的方案欢迎拍砖。A. 查看是否使用了最优的解决方案1． 最优的结构视图2． 解决方案，包，任务，组建，参数的命名使用了易读的命名方式3． 遵循了最优的设计，优化，调整方案B. 配置查看是否所有的配置已经成功，并且能够从外部和父包... 阅读全文

摘要： 前言 粒度是指数据仓库的数据单位中保存数据的细化或综合程度的级别。细化程度越高，粒度级就越小；相反，细化程度越低，粒度级就越大。粒度问题是设计数据仓库的一个最重要方面。在数据仓库环境中粒度之所以是主要的设计问题，是因为它深深地影响存放在数据仓库中的数据量的大小，同时影响数据仓库所能回答的查询类型。在数据仓库中的数据量大小与查询的详细程度之间要作出权衡。 粒度级别 ... 阅读全文

摘要： 通常，数据仓库环境中两种受监控的操作成分是存储于数据仓库中的数据和数据的使用。监控数据仓库环境中的数据是管理数据仓库环境的基本能力。通过监控数据仓库环境中的数据能取得一些重要信息，包括： ■ 识别发生了什么增长，增长发生在什么地方，增长以什么速率发生 ■ 识别正在使用什么数据。 ■ 估算最终用户得到的响应时间。 ■ 确定谁在实际使用数据仓库。 ■ 说明正在使用... 阅读全文

摘要： 前言 查询优化器使用统计信息来创建可提高查询性能的查询计划，对于大多数查询，查询优化器已经为高质量查询计划生成必要的统计信息，但是在少数情况下，您需要创建附加的统计信息或者修改查询设计以得到最佳结果。因此理解和合理使用统计信息是数据库优化的方式之一。 统计信息的分类 根据创建源的不同，统计信息分为两种表统计信息和索引统计信息，除非你自定义它们，否则它们之间没有本质的区别。 索引统计信... 阅读全文

摘要： 目的 这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会，比如在HDFS上运行示例程序或简单作业等。 先决条件 支持平台 GNU/Linux是产品开发和运行的平台。 Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证。 Ubunt... 阅读全文

摘要： 准备 1. ubuntu 14.10 下载地址： 官网下载链接 http://www.ubuntu.com/download/desktop 官方版本库 http://releases.ubuntu.com/14.10/ 中科大源 http://mirrors.ustc.edu.cn/ubuntu-releases/14.10/ 阿里云开源镜像站 http://mirr... 阅读全文