构建大型关系数据仓库的十大最佳实践--SQLCat

构建大型关系数据仓库的十大最佳实践

撰稿人：Stuart Ozer、Prem Mehra 和 Kevin Cox

技术审阅人：Lubor Kollar、Thomas Kejser、Denny Lee、Jimmy May、Michael Redman 和 Sanjay Mishra

构建大型关系数据仓库是一项复杂的任务。本文介绍一些使用 SQL Server 构建高效的大型关系数据仓库时的设计技巧。由于大多数大型数据仓库都使用表分区和索引分区，所以，本文中的许多建议都涉及区。这些技巧大都是使用 SQL Server 2005 构建大型数据仓库的经验之谈。

 

考虑将大型事实数据表分区

• 考虑将 50-100 GB 或更大的事实数据表分区。
• 分区可提高易管理性，且通常可改善性能。
  • 索引维护更快、粒度更小。
  • 备份/还原选项更灵活。
  • 数据加载和删除速度更快
• 当限制在单个分区内时，查询速度会更快。
• 一般应用日期当作事实表的分区键。
  • 应用可调窗口。
• 应用查询分区消除。

基于事实数据表的日期键生成聚集索引

• 这样可使填充多维数据集或检索历史数据切片的查询更高效。
• 如果在批处理窗口中加载数据，则对事实数据表上的聚集索引使用 ALLOW_ROW_LOCKS = OFF 和 ALLOW_PAGE_LOCKS = OFF 选项。这有助于在查询期间加快表扫描操作，还有助于避免在大量更新过程中出现过多锁定活动。
• 为每个外键生成非聚集索引。这有助于“精确定位查询”，即根据选定的维度谓词提取行。对于备份/还原和部分数据库可用性等管理要求，请使用文件组。

仔细选择分区粒度

• 大多数客户使用月、季度或年。
• 对于高效的删除，必须一次删除一个完整的分区。
• 一次加载一个完整的分区更快。
  • 对每日加载而言，按天分区可能是个不错的选择。
  • 但请记住，一个表最多只能有 1000 个分区。
• 分区粒度会影响查询并行度。
  • 搜索单个分区的查询的并行上限为 MAXDOP（最大并行度）。
  • 搜索多个分区的查询对一个分区使用一个线程，并行上限为 MAXDOP。
• 如果需要 MAXDOP 并行度（假设 MAXDOP = 4 或更大），应避免常用查询只搜索两三个分区的分区设计。

恰当地设计维度表

• 对所有维度，日期维度除外，使用整数代理键； 并将可能的最小整数用于维度代理键。这样可以尽量缩小事实数据表。
• 使用从 DATETIME 数据类型派生的 Integer 型有意义的日期键（如 20060215）。
  • 不要对日期维度使用代理键
  • 易于编写对此列执行 WHERE 子句的查询，以便能够消除事实数据表的分区。
• 对每个维度表的业务键（非代理键）生成聚集索引。
  • 加载事实数据表时支持快速查找。
  • 支持快速查找现有维度行，以管理类型 2 更改维度。
• 对每个维度表的维度键（代理键）生成非聚集主键索引。
• 对其他经常搜索的维度列生成非聚集索引。
• 避免将维度表分区。
• 避免事实数据表和维度表之间存在主键-外键关系。允许快速加载。通过 Transform Lookups 确保完整性，或在数据源处执行完整性检查。

编写有效的查询，以便消除分区

• 尽量将查询谓词（WHERE 条件）直接放在事实数据表的分区键（日期维度键）上。

使用可调窗口方法维护数据

• 维护一个滚动的时间窗口，以便联机访问事实数据表。加载最新的数据，卸载最旧的数据。
• 始终在分区范围的两端保留空分区，以确保分区拆分（加载新数据之前）和分区合并（卸载旧数据之后）操作不会导致任何数据移动。
• 避免拆分或合并已填充的分区。拆分或合并已填充的分区效率极低，因为这可能会导致额外产生 4 倍的日志，还会导致严重的锁定。
• 在要加载的分区所在的文件组中创建加载临时表。
• 在要删除的分区所在的文件组中创建卸载临时表。
• 一次加载整个最新分区时速度最快，但仅在分区大小等于数据加载频率时才有可能（例如，您每天有一个分区，每天加载一次数据）。
• 如果分区大小与数据加载频率不符，应增量加载最新的分区。
• 将大容量数据加载到分区表的不同做法在白皮书 http://www.microsoft.com/technet/prodtechnol/sql/bestpractice/loading_bulk_data_partitioned_table.mspx 中进行了讨论。
• 每次始终只卸载一个分区。

有效加载初始数据

• 在初始数据加载期间使用 SIMPLE 或 BULK LOGGED 恢复模式。
• 创建带有聚集索引的分区事实数据表。
• 为每个分区创建非索引临时表，并使用各自不同的源数据文件填充每个分区。
• 并行填充临时表。
  • 使用多个 BULK INSERT、BCP 或 SSIS 任务。
    • 如果没有 IO 瓶颈，请创建与 CPU 数量一样多的加载脚本，将它们并行运行。如果 IO 带宽有限，则使用较少的并行脚本。
    • 在加载中使用 0 批大小。
    • 在加载中使用 0 提交大小。
    • 使用 TABLOCK。
    • 如果源文件为同一个服务器上的平面文件，则使用 BULK INSERT。如果要从远程计算机推送数据，则使用 BCP 或 SSIS。
• 对每个临时表生成聚集索引，然后创建适当的 CHECK 约束。不要使用 SORT_IN_TEMPDB 选项。
• 使用 SWITCH 将所有分区切换到分区表中。
• 对分区表生成非聚集索引。
• 在吞吐量可达到 14 GB/秒的 SAN 中，在 64 个 CPU 的服务器上，一小时之内可以加载 1 TB（非索引表）。有关详细信息，请参阅 SQLCAT 博客文章 http://blogs.msdn.com/sqlcat/archive/2006/05/19/602142.aspx。

有效删除旧数据

• 尽量使用分区切换。
• 从非分区的索引表中删除大量行时，
  • 避免使用 DELETE FROM ...WHERE ...，否则
    • 会产生大量锁定和日志记录
    • 如果取消删除，回滚时间会很长
  • 通常，以下方法更快
    • 使用 INSERT 将记录插入到非索引表
    • 对表创建索引
    • 重命名新表来替换原始表名
• 或者，在循环中重复使用以下语句，“分批”删除
  DELETE TOP (1000) ... ;
  COMMIT

• 另一种方法是更新行，将其标记为已删除，然后在不忙的时候删除。

手动管理统计信息

• 将分区表的统计信息作为整体来维护。
• 加载新数据后，请手动更新大型事实数据表的统计信息。
• 对分区重新生成索引后，请手动更新统计信息。
• 如果在定期加载后会定期更新统计信息，则可以关闭该表的 autostats。
• 这对于优化可能只需要读取最新数据的查询很重要。
• 在增量加载后更新小型维度表的统计信息也可能有助于提高性能。对维度表更新统计信息时使用 FULLSCAN 选项可获得更准确的查询计划。

考虑有效的备份策略

• 对于非常大的数据库来说，备份整个数据库可能需要很长时间。
  • 例如，将一个 2 TB 的数据库备份到 SAN 上拥有 10 个心轴的 RAID-5 磁盘中可能需要 2 个小时（速率为 275 MB/秒）。
• 使用 SAN 技术的快照备份是个非常不错的选择。
• 定期减少要备份的数据量。
  • 历史分区的文件组可标记为 READ ONLY。
  • 文件组标记为只读后，只需对其备份一次。
  • 只对读/写文件组执行定期备份。
• 请注意，不能对只读文件组并行执行 RESTORE。