设为首页 加入收藏

TOP

SQL优化-索引、查询优化及分页算法方案(六)
2014-11-24 02:57:15 来源: 作者: 【 】 浏览:19
Tags:SQL 优化 索引 查询 算法 方案
erBound=(@pageindex-1)*@pagesize
  set @PageUpperBound=@PageLowerBound+@pagesize
  set rowcount @PageUpperBound
  insert into @indextable(nid) select gid from TGongwen where fariqi > dateadd(day,-365,getdate()) order by fariqi desc
  select O.gid,O.mid,O.title,O.fadanwei,O.fariqi from TGongwen O, @indextable t where O.gid=t.nid
  and t.id>@PageLowerBound and t.id<=@PageUpperBound order by t.id
  end
  set nocount off //返回计数,返回任何结果集

  以上存储过程运用了SQL SERVER的最新技术 表变量。应该说这个存储过程也是一个非常优秀的分页存储过程。当然,在这个过程中,您也可以把其中的表变量写成临时表:CREATE TABLE #Temp。但很明显,在SQL SERVER中,用临时表是没有用表变量快的。所以笔者刚开始使用这个存储过程时,感觉非常的不错,速度也比原来的ADO的好。但后来,我又发现了比此方法更好的方法。

  笔者曾在网上看到了一篇小短文《从数据表中取出第n条到第m条的记录的方法》,全文如下:
  从publish 表中取出第 n 条到第 m 条的记录:
SELECT TOP m-n+1 *
  FROM publish
  WHERE (id NOT IN (SELECT TOP n-1 id FROM publish))
  id 为publish 表的关键字

  我当时看到这篇文章的时候,真的是精神为之一振,觉得思路非常得好。等到后来,我在作办公自动化系统(ASP.NET+ C#+SQL SERVER)的时候,忽然想起了这篇文章,我想如果把这个语句改造一下,这就可能是一个非常好的分页存储过程。于是我就满网上找这篇文章,没想到,文章还没找到,却找到了一篇根据此语句写的一个分页存储过程,这个存储过程也是目前较为流行的一种分页存储过程,我很后悔没有争先把这段文字改造成存储过程:  

CREATE PROCEDURE pagination2
  (
  @SQL nVARCHAR(4000), --不带排序语句的SQL语句
  @Page int, --页码
  @RecsPerPage int, --每页容纳的记录数
  @ID VARCHAR(255), --需要排序的不重复的ID号
  @Sort VARCHAR(255) --排序字段及规则
  )
  AS
  DECLARE @Str nVARCHAR(4000)
  SET @Str='SELECT TOP '+CAST(@RecsPerPage AS VARCHAR(20))+' * FROM ('+@SQL+') T WHERE T.'+@ID+'NOT IN
  (SELECT TOP '+CAST((@RecsPerPage*(@Page-1)) AS VARCHAR(20))+' '+@ID+' FROM ('+@SQL+') T9 ORDER BY '+@Sort+') ORDER BY '+@Sort
  PRINT @Str
  EXEC sp_ExecuteSql @Str
  GO
  其实,以上语句可以简化为: 
SELECT TOP 页大小 *
  FROM Table1
  WHERE (ID NOT IN
  (SELECT TOP 页大小*页数 id
  FROM 表
  ORDER BY id))
  ORDER BY ID
 但这个存储过程有一个致命的缺点,就是它含有NOT IN字样。虽然我可以把它改造为:  
SELECT TOP 页大小 *
  FROM Table1
  WHERE not exists
  (select * from (select top (页大小*页数) * from table1 order by id) b
  where b.id=a.id )
  order by id
  即,用not exists来代替not in,但我们前面已经谈过了,二者的执行效率实际上是没有区别的。
  既便如此,用TOP 结合NOT IN的这个方法还是比用游标要来得快一些。

  虽然用not exists并不能挽救上个存储过程的效率,但使用SQL SERVER中的TOP关键字却是一个非常明智的选择。因为分页优化的最终目的就是避免产生过大的记录集,而我们在前面也已经提到了TOP的优势,通过TOP 即可实现对数据量的控制。

  在分页算法中,影响我们查询速度的关键因素有两点:TOP和NOT IN。TOP可以提高我们的查询速度,而NOT IN会减慢我们的查询速度,所以要提高我们整个分页算法的速度,就要彻底改造NOT IN,同其他方法来替代它。

  我们知道,几乎任何字段,我们都可以通过max(字段)或min(字段)来提取某个字段中的最大或最小值,所以如果这个字段不重复,那么就可以利用这些不重复的字段的max或min作为分水岭,使其成为分页算法中分开每页的参照物。在这里,我们可以用操作符“>”或“<”号来完成这个使命,使查询语句符合SARG形式。如:

  Select top 10 * from table1 where id>200
  于是就有了如下分页方案:
select top 页大小 *
  from table1
  where id>
  (select max (id) from
  (select top ((页码-1)*页大小) id from table1 order by id) as T
  )
  order by id

  在选择即不重复值,又容易分辨大小的列时,我们通常会选择主键。下表列出了笔者用有着1000万数据的办公自动化系统中的表,在以GID(GID是主键,但并不是聚集索引。)为排序列、提取gid,fariqi,title字段,分别以第1、10、100、500、1000、1万、10万、25万、50万页为例,测试以上三种分页方案的执行速度:(单位:毫秒) 

页 码

方案1

方案2

方案3

1

60

30

76

10

46

16

63

100

1076

720

130

500

540

12943

83

1000

17110

470

250

1万

24796

4500

140

10万

38326

42283

1553

25万

28140

128720

2330

50万

121686

127846

7168

 从上表中,我们可以看出,三种存储过程在执行100页以下的分页命令时,都是可以信任的,速度都很好。但第一种方案在执行分页1000页以上后,速度就降了下来。第二种方案大约是在执行分页1万页以上后速度开始降了下来。而第三种方案却始终没有大的降势,后劲仍然很足。

  在确定了第三种分页方案后,我们可以据此写一个存储过程。大家知道SQL SERVER的存储过程是事先编译好的SQL语句,它的执行效率要比通过WEB页面传来的SQL语句的执行效率要高。下面的存储过程不仅含有分页方案,还会根据页面传来的参数来确定是否进行数据总数统计。

  -- 获取指定页的数据  
CREATE PROCEDURE pagination3
  @tblName varchar(255), -- 表名
  @strGetFields varchar(1000) = '*', -- 需要返回的列
  @fldName varchar(255)='', -- 排序的字段名
  @PageSize int = 10, -- 页尺寸(每页记录数)
  @PageIndex int = 1, -- 页码
  @doCount bit = 0, -- 返回

首页 上一页 3 4 5 6 7 下一页 尾页 6/7/7
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
分享到: 
上一篇PL/SQL编程 下一篇T-SQL问题解决集锦――数据加解密

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

·C语言结构体怎么直接 (2025-12-24 17:19:44)
·为什么指针作为c语言 (2025-12-24 17:19:41)
·如何较为深入的理解c (2025-12-24 17:19:38)
·Announcing October (2025-12-24 15:18:16)
·MySQL有什么推荐的学 (2025-12-24 15:18:13)