三:索引的建立原则
一般来说,建立索引要看数据使用的场景,换句话来说哪些访问数据的SQL语句是常用的,
而这些语句是否因为缺少索引(也有可能是索引过多)变的效率低下。但绝不是所有的SQL语句都要
建立索引,如果所有的SQL语句都建立索引,那么可能导致建立过多的索引。
而这些语句是否因为缺少索引(也有可能是索引过多)变的效率低下。但绝不是所有的SQL语句都要
建立索引,如果所有的SQL语句都建立索引,那么可能导致建立过多的索引。
我碰到过每秒钟新增记录超过千条的案例,虽然该数据表仅有聚集索引,但因为已存在的键值字段
的值和新增数据键值字段的值并不是按顺序递增,每次新增记录时,肯定造成整体数据行的重新排列。
在移掉聚集索引后,性能约提升20%。也曾经碰到过一个数据表上有20个索引,结果新增一条记录需要
耗时4秒钟才能完成。
的值和新增数据键值字段的值并不是按顺序递增,每次新增记录时,肯定造成整体数据行的重新排列。
在移掉聚集索引后,性能约提升20%。也曾经碰到过一个数据表上有20个索引,结果新增一条记录需要
耗时4秒钟才能完成。
另一个案例中,POS系统中的销售数据变更,要同时更新多个数据表,每个数据表都有数十万条
记录以上,但所使用的WHERE字段没有有效的索引,除查找缓慢外,导致更新时产生了大量的锁定。
各数据表加上应有的索引后,原来要几十秒的更新,不到一秒钟便完成了。
记录以上,但所使用的WHERE字段没有有效的索引,除查找缓慢外,导致更新时产生了大量的锁定。
各数据表加上应有的索引后,原来要几十秒的更新,不到一秒钟便完成了。
另外,根据
数据库的使用时机,也有可能先建立索引,用完后再删除。例如,当你做年报表、
季报表时需要大量查询各种数据,可以考虑在生成报表之前建立相关索引。但在报表生成完毕后,
为了保证平时新增、修改和删除操作的运行效率,再删除为了生成报表所建立的相关的索引。
季报表时需要大量查询各种数据,可以考虑在生成报表之前建立相关索引。但在报表生成完毕后,
为了保证平时新增、修改和删除操作的运行效率,再删除为了生成报表所建立的相关的索引。
而针对SQL语句或视图是否值得建立索引的问题,则有以下几个可以参考的方面。
第一、选择性
选择性表示符合你查询条件的记录占总记录的百分比,也就是
选择性=符合查询条件的记录数量/总记录数量
这个值越小越好,越小代表选择越高,越适合采用索引。例如 :
select * from WBK_Goods_Info where COP_G_NO='00078027'
在WBK_Goods_Info 表内符合这个条件的记录只有1条,而整个数据表有100000条记录,因此该
查询的选择性是1/100000,这代表非常高的选择性,如此通过索引来查找数据才有效率。反过来说,
或你的语句如下:
查询的选择性是1/100000,这代表非常高的选择性,如此通过索引来查找数据才有效率。反过来说,
或你的语句如下:
Select * from WBK_Goods_Info with(index(idx_cop_g_no)) where COP_G_NO>'00018000'
这时符合查询记录达82000条,选择性变为82000/100000,说明选择性非常低,除非以COP_G_NO
字段为键值建立的索引是聚集索引,否则如果采用非聚集索引来访问,反而变成需要读取至少82000次
数据页,因为SQL SERVER在读取每一条记录时,都是先将整个数据页读取(请记住,这是SQL SERVER读
取数据的基本单位),再从中取出目标记录。就算两条记录存在同一数据页上,也要读该数据页两次。
因此在选择性很低时,通过非聚集索引访问是非常没有效率的访问方式,还不如直接进行全表扫描。
数据页,因为SQL SERVER在读取每一条记录时,都是先将整个数据页读取(请记住,这是SQL SERVER读
取数据的基本单位),再从中取出目标记录。就算两条记录存在同一数据页上,也要读该数据页两次。
因此在选择性很低时,通过非聚集索引访问是非常没有效率的访问方式,还不如直接进行全表扫描。
第二、数据密度
数据密度是指键值惟一的记录条数分之一,也就是
数据密度=1/键值惟一的记录数量
通过以下语句进行测试:在WBK_PDE_LIST_ORG_HISTROY数据表的COP_G_NO字段建立索引,而后
通过dbcc show_statistics语句查询存储 系统内关于该索引的统计信息的记录,而后再应用上方的
公式,以测试是否与存储在系统内的ALL Density字段值是否相同:
通过dbcc show_statistics语句查询存储 系统内关于该索引的统计信息的记录,而后再应用上方的
公式,以测试是否与存储在系统内的ALL Density字段值是否相同:
--创建索引
CREATE NONCLUSTERED INDEX [idx_WBK_PDE_LIST_COP_G_NO] ON [dbo].[WBK_PDE_LIST_ORG_HISTROY]
(
[COP_G_NO] ASC
)
INCLUDE ( [WBOOK_NO],[G_NO],[CODE_T],[UNIT_1],[TRADE_TOTAL],[GROSS_WT])
--返回all desity字段的值
DBCC SHOW_STATISTICS ('WBK_PDE_LIST_ORG_HISTROY','idx_WBK_PDE_LIST_COP_G_NO')
--计算all desity字段的值
Select 1.0/(select count(distinct COP_G_NO) from WBK_PDE_LIST_ORG_HISTROY) [All Density]
当数据密度越小,也就是惟一性越高时,代表该字段越适合建立索引,因为当总数据条数乘上
该密度值,就是一般平均查询到的记录数字。
该密度值,就是一般平均查询到的记录数字。
第三、数据分布
数据分布代表多条数据记录组成的方式,与密度的概念有关。它代表数据记录是平均散布在一段
范围内,还是集中在部分区块。其分布示意图如下图。
范围内,还是集中在部分区块。其分布示意图如下图。
以我们的范例而言,每一种货物的货物编号都是自增且惟一的,也就是货物信息表(wbk_goods
_info)中有100000种货物,以2000的倍数为值域的切分点,则各数据范围内的记录条数是相等的,
此种分布称为平均分布。或数据类型如此,则要计算某个查询条件的选择性是否很高就相当的容易且精准。
_info)中有100000种货物,以2000的倍数为值域的切分点,则各数据范围内的记录条数是相等的,
此种分布称为平均分布。或数据类型如此,则要计算某个查询条件的选择性是否很高就相当的容易且精准。
如果数据是标准分布的,也就是说数据在有些范围内多,有些范围内少,以这个例子来说,就是
有些货物的销售记录很多,有些货物可能基本上没有销售记录,则该索引就需要有更细致的统计数据,
以记录一个范围的数据约略有多少条记录,在查询优化程序判断某个索引是否适用某项查询时,才可以
精确判断出该字段的选择性是否很高,以决定使用的索引。
有些货物的销售记录很多,有些货物可能基本上没有销售记录,则该索引就需要有更细致的统计数据,
以记录一个范围的数据约略有多少条记录,在查询优化程序判断某个索引是否适用某项查询时,才可以
精确判断出该字段的选择性是否很高,以决定使用的索引。
这也就是当你观察Dbcc show_statistics时(如上图),如果呈现的分布记录有很多条,表示该键值
在整个记录中是标准分布,所以需要各区段的记录数目,以较为精确地判断符合条件的记录数多少,
若只有寥寥三四笔,表示接近平均分布,只需要描述平均分布的状态即可。
在整个记录中是标准分布,所以需要各区段的记录数目,以较为精确地判断符合条件的记录数多少,
若只有寥寥三四笔,表示接近平均分布,只需要描述平均分布的状态即可。
第四、索引的有效性
在根据以上三原则建立相应的索引之后,我们再来看看如何观察在建立索引后,查询语句是否变
得较有效率,索引的使用效率是否高。
得较有效率,索引的使用效率是否高。
--没有索引的情况
Set statistics io on
Select [WBOOK_NO] ,[COP_G_NO] ,[G_NO]
,[CONTR_ITEM] ,[CODE_S] ,[CODE_T]
,[G_NAME] ,[G_MODEL] ,[G_QTY] ,[G_UNIT] ,[QTY_1] ,[UNIT_1] ,
[TRADE_CURR] ,[DECL_PRICE] ,[TRADE_TOTAL] ,[GROSS_WT] ,[NET_WT] from WBK_PDE_LIST_ORG_HISTROY c
[TRADE_CURR] ,[DECL_PRICE] ,[TRADE_TOTAL] ,[GROSS_WT] ,[NET_WT] from WBK_PDE_LIST_ORG_HISTROY c
Where c.WBOOK_NO='BE404942450001' and c.COP_G_NO='601969