Jiangrod Sky

--伴随.net一起成长
posts - 8, comments - 31, trackbacks - 0, articles - 0
  博客园 :: 首页 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理

表结构:

CREATE TABLE [dbo].[Xtest](
 [ID] [bigint] IDENTITY(1,1) NOT NULL,
 [XName] [nvarchar](50) NULL,
 [XDemo] [nvarchar](500) NULL,
 CONSTRAINT [PK_xtest] PRIMARY KEY CLUSTERED
(
 [ID] ASC
)WITH (PAD_INDEX  = OFF, STATISTICS_NORECOMPUTE  = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS  = ON, ALLOW_PAGE_LOCKS  = ON) ON [PRIMARY]
) ON [PRIMARY]

 

插入50万条数据:


declare @i int
set @i=1
while(@i<500001)
begin
 insert into dbo.Xtest(XName,XDemo) values(CAST(@i as varchar)+'name'+CAST(@i as varchar),'这是第'+CAST(@i as varchar)+'的内容')
 set @i=@i+1
end

 

 

存储过程如下:

代码

-- =============================================
--
 Author:        <jiangrod>
--
 Create date: <2010-03-03>
--
 Description:    <SQL2000通用分页存储过程>调用方法: sp_Pager2000 'xtest','*','ID','ORDER BY ID ASC','xname like ''%222name%''',3,20,0,0
--
 =============================================
ALTER PROCEDURE [dbo].[sp_Pager2000]
@tblName   varchar(255),            -- 表名如:'xtest'
@strGetFields varchar(1000= '*',  -- 需要返回的列如:'xname,xdemo'
@pkName        nvarchar(50)='ID',        -- 主键名
@strOrder varchar(255)='',          -- 排序的字段名如:'order by id desc'
@strWhere  varchar(1500= '',      -- 查询条件(注意:不要加where)如:'xname like ''%222name%''' 
@pageIndex  int = 1,                -- 页码如:2
@pageSize   int = 20,               -- 每页记录数如:20
@recordCount int=0 out,             -- 记录总数
@doCount bit=0                        -- 非0则统计,为0则不统计(统计会影响效率)
AS

Declare @sql         nvarchar(4000)
Declare    @sqltemp    nvarchar(1000)
set @sql=' From '+@tblName
if(@strWhere!=''set @sql=@sql+' Where '+@strWhere

declare @strCount nvarchar(1000)
--总记录条数
if(@doCount!=0)
begin
    
if(@strWhere !='')
    
begin
        
set @strCount='set @num=(select count(1) from '+ @tblName + ' where '+@strWhere+' )'
    
end
    
else
    
begin
        
set @strCount='set @num=(select count(1) from '+ @tblName + ' )'
    
end
    
EXECUTE sp_executesql @strCount ,N'@num INT output',@RecordCount output
end

if @strWhere !=''
begin
    
set @strWhere=' where '+@strWhere
end

if (@PageIndex>1)
begin
    
set @sqltemp=@PKName+' not in (Select Top '+cast((@PageSize*(@PageIndex-1)) as nvarchar)+' '+@PKName+' '+@sql
    
if(@strOrder!='')set @sqltemp=@sqltemp+' '+@strOrder
    
set @sqltemp=@sqltemp+')'
    
set @sql='Select Top '+cast(@PageSize as nvarchar)+' '+@strGetFields+' '+@sql 
    
if(@strWhere!='')set @sql=@sql+' And '+@sqltemp
    
else set @sql=@sql+' Where '+@sqltemp
end
else
begin
    
set @sql='Select Top '+cast(@PageSize as nvarchar)+' '+@strGetFields+' '+@sql 
end
if(@strOrder!=''set @sql=@sql+' '+@strOrder
exec(@sql)



-- =============================================
--
 Author:        <jiangrod>
--
 Create date: <2010-03-03>
--
 Description:    <SQL2005及后续版本通用分页存储过程>调用方法: sp_Pager2005 'xtest','*','ORDER BY ID ASC','xname like ''%222name%''',2,20,0,0
--
 =============================================
ALTER PROCEDURE [dbo].[sp_Pager2005]
@tblName   varchar(255),            -- 表名如:'xtest'
@strGetFields varchar(1000= '*',  -- 需要返回的列如:'xname,xdemo'
@strOrder varchar(255)='',          -- 排序的字段名如:'order by id desc'
@strWhere  varchar(1500= '',      -- 查询条件(注意:不要加where)如:'xname like ''%222name%''' 
@pageIndex  int = 1,                -- 页码如:2
@pageSize   int = 20,               -- 每页记录数如:20
@recordCount int output,            -- 记录总数
@doCount bit=0                        -- 非0则统计,为0则不统计(统计会影响效率)
AS

declare @strSQL varchar(5000)
declare @strCount nvarchar(1000)
--总记录条数
if(@doCount!=0)
begin
    
if(@strWhere !='')
    
begin
        
set @strCount='set @num=(select count(1) from '+ @tblName + ' where '+@strWhere+' )'
    
end
    
else
    
begin
        
set @strCount='set @num=(select count(1) from '+ @tblName + ' )'
    
end
    
EXECUTE sp_executesql @strCount ,N'@num INT output',@RecordCount output
end

if @strWhere !=''
begin
    
set @strWhere=' where '+@strWhere
end
set @strSQL='SELECT * FROM (SELECT ROW_NUMBER() OVER ('+@strOrder+') AS ROWID,'
set @strSQL=@strSQL+@strGetFields+' FROM ['+@tblName+''+@strWhere
set @strSQL=@strSQL+') AS sp WHERE ROWID BETWEEN '+str((@PageIndex-1)*@PageSize+1)
set @strSQL=@strSQL+' AND '+str(@PageIndex*@PageSize)
exec (@strSQL)


 

 

 


对上面两个存储过程进行了测试,测试环境:酷睿2双核2.20Gh,1G内存,SQL SERVER2008

对50万条数据进行了分页查询测试

查询的条件是:xname like '%222name%'

"page1:2秒937毫秒":表示打开第一页使用的时间,其他依次类推

不使用ROW_NUMBER()每页都要统计:
page1:2秒937毫秒
page2:3秒140毫秒
page3:3秒453毫秒
page4:3秒609毫秒
page5:3秒843毫秒
page6:4秒156毫秒

不使用ROW_NUMBER()仅第一页统计:
page1:2秒937毫秒
page2:0秒343毫秒
page3:0秒593毫秒
page4:0秒812毫秒
page5:1秒46毫秒
page6:1秒281毫秒

使用ROW_NUMBER()每页都要统计:
page1:2秒937毫秒
page2:3秒31毫秒
page3:3秒156毫秒
page4:3秒296毫秒
page5:3秒421毫秒
page6:3秒515毫秒

使用ROW_NUMBER()仅第一页统计:
page1:2秒937毫秒
page2:0秒218毫秒
page3:0秒359毫秒
page4:0秒468毫秒
page5:0秒578毫秒
page6:0秒687毫秒

结论:在存储过程当中如果每次都统计记录总数将会严重影响效率,相同的查询条件记录总数必定是相同的,所以如果第一页执行之后把记录总数保存起来,点击其他页次的时候命令存储过

程不再统计记录总数将会大大提高系统性能。通过测试结果看出每次都要统计总记录数使用ROW_NUMBER()和不使用ROW_NUMBER()差别不是太大,如果仅第一次统计总记录数使用ROW_NUMBER()将

会比不使用ROW_NUMBER()的效率提高很多。

 

 

Feedback

#1楼  回复 引用 查看   

2010-03-17 09:41 by 宏宇      
找到一个瓶颈,不错

#2楼  回复 引用 查看   

2010-03-17 09:42 by 雪夜      
不错。。。等高手,分析。。。。

#3楼  回复 引用 查看   

2010-03-17 09:58 by Hunts.C      
@PageIndex = 1 的时候直接使用TOP,这样你的第一页会快一点。

#4楼  回复 引用 查看   

2010-03-17 10:31 by 阿水      
看的太难受了,直接贴出来拼好的语句吧!那样可能可以测试一下。

#5楼  回复 引用 查看   

2010-03-17 10:41 by 阿水      
测试结果和楼主的不一样,在非主键 非索引的 字段排序。
不用ROW_NUMBER时 SQL的逻辑读高于使用 ROW_NUMBER

#6楼  回复 引用 查看   

2010-03-17 10:43 by 阿水      
补充一点,使用Row_Number读不同的页,效率应该是一样的。
就是SQL的逻辑读次数是相同的,但是不用Row_Number时,逻辑读会随着页数的增长而增长(好像是线性的)。
使用主键或索引的情况还没有测试,有空再测吧。

#7楼  回复 引用 查看   

2010-03-17 10:46 by 阿水      
如果排序的是主键使用Row_Number的效果更明显。
不过不知道为什么楼主和我的测试结果不一样。

#8楼[楼主]  回复 引用 查看   

2010-03-17 11:01 by 北漂剑客      
TO 阿水:
测试的结果不一样,是不是我使用的查询条件like效率较低造成呢

#9楼  回复 引用 查看   

2010-03-17 11:05 by 阿水      
哦忘了说了,我的数据比较少大概3W,另外我的语句里没有条件,我贴一下哈。

-----------
--排序字段CreateTime 每页20 取第6页
SELECT TOP 20 *
FROM HELOG
WHERE OId NOT IN
(SELECT TOP 100 OId FROM HELOG ORDER BY CreateTime)
ORDER BY OId


SELECT * FROM
(
SELECT *, ROW_NUMBER() OVER (ORDER BY OId) AS RowId FROM HELOG
) a
WHERE RowId > 100 AND RowId<= 120

#10楼[楼主]  回复 引用 查看   

2010-03-17 11:10 by 北漂剑客      

测试的表结构如下:

CREATE TABLE [dbo].[Xtest](
[ID] [bigint] IDENTITY(1,1) NOT NULL,
[XName] [nvarchar](50) NULL,
[XDemo] [nvarchar](500) NULL,
CONSTRAINT [PK_xtest] PRIMARY KEY CLUSTERED
(
[ID] ASC
)WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY]
) ON [PRIMARY]


10W级以下,两个存储过程查询的效率差不多,大数据量差距比较明显。

#11楼[楼主]  回复 引用 查看   

2010-03-17 11:14 by 北漂剑客      
另外忘了补充一点,测试的时候已经对XName建了索引,如果不建索引,效率会更低。

#12楼  回复 引用 查看   

2010-03-17 11:29 by Hardy      
不错。够细心!

#13楼  回复 引用 查看   

2010-03-17 11:42 by 阿水      
ORDER BY 哪个字段???

#14楼  回复 引用 查看   

2010-03-17 12:50 by 阿水      
代码放这里
DBCC DROPCLEANBUFFERS
DBCC FREEPROCCACHE
SET STATISTICS IO ON
SET STATISTICS TIME ON

-----------
--排序字段CreateTime 每页20 取第6页
SELECT TOP 20 *
FROM Xtest
WHERE Id NOT IN
(SELECT TOP 5000 Id FROM Xtest ORDER BY XName)
ORDER BY XName


SELECT * FROM
(
SELECT *, ROW_NUMBER() OVER (ORDER BY XName) AS RowId FROM Xtest
) a
WHERE RowId > 5000 AND RowId <= 5020


楼主自己测吧,我大概测了一下,是ROW_NUMBER 效果好。

#15楼  回复 引用 查看   

2010-03-17 13:06 by virus      
每次都计算记录总数好像挺费时间的吧,如果不算的,记录总数又不是新的,有可能你分页看的时候,就有人插入大量数据

#16楼  回复 引用 查看   

2010-03-17 14:05 by 金色海洋(jyk)      
内存太小了一点,至少也要2G,否则有可能影响测试结果。

#17楼  回复 引用 查看   

2010-03-18 00:25 by lcs-帅      
全部记录取回来。使用dataReader,在程序中进行分页判断。好像速度也是很快的,你可以试一下。

#18楼  回复 引用 查看   

2010-03-18 08:07 by 二德子      
@lcs-帅
50W 全读?

#19楼[楼主]  回复 引用 查看   

2010-03-18 09:42 by 北漂剑客      
海量数据检索分页一直是影响系统性能的瓶颈,有效地解决这个问题是很重要的,希望高手们能给出比较的解决方案!@_@

#20楼  回复 引用 查看   

2010-03-19 10:39 by virus      
你这个好像只能从单个表查询,最好修改为可以join查询的比较好,因为很多时候单表中存储的都是代码,例如类别信息

#21楼  回复 引用 查看   

2011-08-31 17:38 by xiawei      
如何调用的?