多维数据集数据聚合性能笔记

30万数据,聚合15分钟,实际真实的业务系统数据,SQLServer 2005 Analysis Services.

这个多维数据集的情况是事实表中数据有30万,拥有三个维度,其中有两个维度有三个层次.为了满足dirllthroughtodetail的需要,事实表同时也作为了维表.这一条在现在来看很愚蠢,因为这样会使聚合数据几何级别增长,相当于又乘了一个30万.但从实际的运行效果看,在这个数据量级别还是可以接受的,查询和drillthroughttodetail性能都是很不错的.个人预计这样的方法数据上限大概在100万,超过这个数据级别的聚合和查询性能就要出问题.

大量数据的钻细节到数据仓库查比较实际,处理好维度层次是难点.dundas这样的公司没有做这个功能,可能主要就是考虑在这.

在此做一个记录,以备后查.

posted on 2008-12-04 13:19 哥本哈士奇(aspnetx) 阅读(501) 评论(4) 编辑 收藏

评论:
#1楼 2008-12-04 17:20 | 李梦蛟      
^_^,可能就是因为你同时作为维表才导致这么久的,我聚合3000多万条记录,聚合维度6个,时间都没有你长呢.
 回复 引用 查看   
#2楼[楼主] 2008-12-04 20:17 | aspnetx      
@李梦蛟
呵呵那时当然了,其实主要还是为了钻取到细节方便嘛,drillthrough只能是你维度聚合了哪些就只能显示那些列,这样类似姓名的字段就取不到,因为没有聚合到里面,后来我自己想到的笨方法,就是把事实表同时也作为维表,当然代价就是很难想象的聚合量.
之前我测试过1000万简单维度聚合的,正常的方法,也就是不把事实表作维表的话,1分钟以内就处理完了,可见差距啊.

 回复 引用 查看   
#3楼 2009-01-08 12:47 | 东城v夜游神      
我大概是130w+条数据也不过几秒钟,看来设计还是很重要的
 回复 引用 查看   
#4楼[楼主] 2009-01-09 15:52 | aspnetx      
@东城v夜游神
hi,如果说聚合简单维度的话确实聚合不需要太长时间,但是要把事实表同时也作为维表的话那简直就是灾难,不过这样在细节数据方面确实方便好多,即使半个小时也是可以接收的。总之方案上还是一要看数据量,然后再看需求。

 回复 引用 查看   

文章和随笔为作者个人感悟,不代表任何公司或团体的立场和观点.

如需转载请加上博客园链接.

由于技术更新很快,请各位阅读的时候特意留意下文章的发布时间以及在这个时间相关技术或者产品的版本.

MSN:
aspnetx#live.com
QQ:
63036666
------------
目前关注:
ASP.NET(MVC2)
WPF & Silverlight
.Net framework 4.0
SQLServer2008 BI & GIS
PowerShell
设计模式
数据仓库
软件工程

昵称:哥本哈士奇(aspnetx)
园龄:6年7个月
荣誉:推荐博客
粉丝:112
关注:6

搜索

 

常用链接

随笔分类(358)

关注的博客

网站收集

我的CodePlex项目

积分与排名

  • 积分 - 553678
  • 排名 - 95