查询优化

第九章 关系查询处理和查询优化

9.1 关系数据库系统的查询处理

9.1.1 查询处理步骤

关系数据库

1 查询分析；2 查询检查；3 查询优化；4 查询执行

【查询分析】：对查询语句进行扫描，词法分析和语法分析

• 词法分析：从查询语句中识别出正确的语言符号
• 语法分析：进行语法检查

【查询检查】

​ 任务：

​ 合法性检查+视图转换+安全性检查+完整性初步检查

• 根据数据字典中有关的模式定义检查语句中的数据库对象，如关系名、属性名是否存在和有效

• 如果是对视图的操作，则要用视图消解方法把对视图的操作转换成对基本表的操作

• 根据数据字典中的用户权限和完整性约束定义对用户的存取权限进行检查

• 检查通过后把SQL查询语句转换成内部表示，即等价的关系代数表达式

• 关系数据库管理系统一般都用查询树，也称为语法分析树来表示扩展的关系代数表达式

【查询优化】

​ 任务：选择一个高效执行的查询处理策略

​ 查询优化分类

​ - 代数优化/逻辑优化：指关系代数表达式的优化

​ - 物理优化：指存取路径和底层操作算法的选择

​ 查询优化的选择依据

​ - 基于规则(rule based)

​ - 基于代价(cost based)

​ - 基于语义(semantic based)

【查询执行】

• 依据优化器得到的执行策略生成查询执行计划

• 代码生成器(code generator)生成执行查询计划的代码

• 两种执行方法

  • 自顶向下
  • 自底向上

9.1.2 实现查询操作的算法示例

1 选择操作

选择操作典型实现方法：

（1） 全表扫描方法 (Table Scan)

对查询的基本表顺序扫描，逐一检查每个元组是否满足选择条件，把满足条件的元组作为结果输出

适合小表，不适合大表

（2）索引扫描方法 (Index Scan)

适合于选择条件中的属性上有索引(例如B+树索引或Hash索引)

通过索引先找到满足条件的元组主码或元组指针，再通过元组指针直接在查询的基本表中找到元组

选择算子的处理要考虑到选择的<条件表达式>具体情况！

2 连接操作

连接操作是查询处理中最耗时的操作之一

连接操作实现

• 嵌套循环算法 nested loop join

#1.对外层循环(Student表)的每一个元组(s)，检索内层循环(SC表)中的每一个元组(sc)
#2.检查这两个元组在连接属性(Sno)上是否相等
#3.如果满足连接条件，则串接后作为结果输出，直到外层循环表中的元组处理完为止。

• 排序-合并算法 sort-merge join 或merge join

#1.如果连接的表没有排好序，先对Student表和SC表按连接属性Sno排序 
#2.取Student表中第一个Sno，依次扫描SC表中具有相同Sno的元组 
#3.当扫描到Sno不相同的第一个SC元组时，返回Student表扫描它的下一个元组，再扫描SC表中具有相同Sno的元组，把它们连接起来 
#4.重复上述步骤直到Student 表扫描完

#Student表和SC表都只要扫描一遍；如果两个表原本无序，执行时间需要加上对两个表的排序时间；
#对于大表，先排序后使用排序-合并连接算法执行连接，总的时间一般仍会减少

• 索引连接算法

#① 在SC表上已经建立属性Sno的索引。
#② 对Student中每一个元组，由Sno值通过SC的索引查找相应的SC元组。 
#③ 把这些SC元组和Student元组连接起来   
#循环执行②③，直到Student表中的元组处理完为止 

• Hash Join 算法

# 把连接属性作为	hash码	用同一个hash函数把Student表和SC表中的元组散列到hash表中。
# 划分阶段(building phase, 也称为partitioning phase)
#	对包含较少元组的表(如Student表)进行一遍处理
#	把它的元组按hash函数分散到hash表的桶中
# 试探阶段(probing phase,也称为连接阶段join phase) 
#	对另一个表(SC表)进行一遍处理
# 	把SC表的元组也按同一个hash函数（hash码是连接属性）进行散列
#	把SC元组与桶中来自Student表并与之相匹配的元组连接起来

上面hash join算法前提：假设两个表中较小的表在第一阶段后可以	完全放入内存的	hash桶中 

9.2 关系数据库系统的查询优化

【查询优化的优点】

• 是关系数据库管理系统实现的关键技术，又是关系系统的优点所在
• 减轻了用户对于系统底层选择存取路径的负担
• 用户可以关注查询的正确表达上，而无需考虑查询的执行效率如何

【系统优化后的程序通常可以比用户程序做得更好】

1. 优化器可以从数据字典中获取许多统计信息，而用户程序则难以获得这些信息
2. 如果数据库的物理统计信息改变了，系统可以自动对查询重新优化以选择相适应的执行计划。在非关系系统中必须重写程序，这在实际中往往是不可行的
3. 优化器可以考虑数百种不同的执行计划，程序员一般只能考虑有限的几种可能性
4. 优化器中包括了许多复杂的优化技术，这些优化技术只有最好的程序员才能掌握。系统的自动优化相当于使得所有人都拥有了这些优化技术

关系数据库管理系统通过某种代价模型计算出各种査询执行策略的执行代价，然后选取代价最小的执行方案

• 集中式数据库执行开销主要包括

  ​ 磁盘存取块数（I/O代价）
  ​ 处理机时间（CPU代价）
  ​ 内存空间的开销

  • I/O代价是最主要的

• 分布式数据库 总代价 = I/O代价+CPU代价+内存代价十通信代价

【查询优化的总目标】

• 选择有效的策略
• 求得给定关系表达式的值
• 使得查询代价最小（实际上是较小）

9.3 代数优化

观察1：一个代数表达式（查询），可以有多个结果相同但是形式不同的表达式

观察2：这些表达式的执行效率是不一样的，有时候差别巨大

【】理想

1 找出查询Q的全部等价表达式（结果相同）E（Q）
2 对E（Q）中的每一个表达式计算其执行代价：
f（q），q∈E（Q）q是Q的一个等价表达式

3 找出执行代价最小的表达式

问题：成本太高！

【】现实：
1 从查询Q出发，按照事先确定的规则对Q进行变换获得Q1，Q1与Q必须等价

2 确保Q1的执行代价比Q的执行代价低

3 直到找不到执行代价更小的等价表达式，结束

问题：不一定是最优的。

有选择和连接操作时，先做选择操作，这样参加连接的元组就可以大大减少，这是代数优化

对于Student和SC表的连接，利用Student表上的索引，采用索引连接代价也较小，这就是物理优化。

9.3.1 关系代数表达式等价变换规则

通过对关系代数表达式的等价变换来提高查询效率

关系代数表达式等价变换指，用相同的关系代替两个表达式中相应的关系得到的结果是相同的，可记两个等价的关系表达式为E1≡E2

常用的等价变换规则：

变换规则
1.连接、笛卡尔积交换律
2.连接、笛卡尔积的结合律
3.投影的串接定律	`
4.选择的串接定律
5.选择与投影操作的交换律
6. 选择与笛卡尔积的交换律
7. 选择与并的分配律	设E=E1∪E2，E1，E2有相同的属性名，则 σF(E1∪E2)≡σF(E1)∪σF(E2)
8. 选择与差运算的分配律	若E1与E2有相同的属性名，则 σF(E1-E2)≡σF(E1)-σF(E2)
9. 选择对自然连接的分配律
10. 投影与笛卡尔积的分配律
11. 投影与并的分配律

9.3.2 查询树的启发式优化：什么样的变换一定是“好”的，即执行代价更小

【典型的启发式规则】

1. 选择运算尽可能先做（基本，重要）

2. 把投影运算和选择运算同时进行

   如有若干投影和选择运算，并且它们都对同一个关系操作，则可以在扫描此关系的同时完成所有的这些运算以避免重复扫描关系

3. 把投影同其前或其后的双目运算结合起来，没有必要为了去掉某些字段而扫描一遍关系

4. 把某些选择同在它前面要执行的笛卡尔积结合起来成为连接运算，连接特别是等值连接运算要比同样关系上的笛卡尔积省很多时间

5. 找出公共字表达式

   • 如果这种重复出现的子表达式的结果不是很大的关系
   • 并且从外存中读入这个关系比计算该子表达式的时间少得多
   • 则先计算一次公共子表达式并把结果写入中间文件是合算的
   • 当查询的是视图时，定义视图的表达式就是公共子表达式的情况

遵循这些启发式规则，应用的等价变换公式来优化关系表达式的算法。

算法：关系表达式的优化

输入：一个关系表达式的查询树

输出：优化的查询树

规则4：    合并或分解选择运算
规则5-9： 选择运算与其他运算交换
规则3：合并或分解投影运算
规则4：合并或分解选择运算
规则5：投影运算与选择运算交换

方法：

1）利用等价变换规则4把形如σF1∧F2∧…∧Fn(E)变换为σF1(σF2(…(σFn(E))…))

2）对每一个选择，利用等价变换规则4～9尽可能把它移到树的叶端

3）对每一个投影利用等价变换规则3，5，10，11中的一般形式尽可能把它移向树的叶端。
注意：等价变换规则3使一些投影消失或使一些投影出现
规则5把一个投影分裂为两个，其中一个有可能被移向树的叶端

4）利用等价变换规则3～5，把选择和投影的串接合并成单个选择、单个投影或一个选择后跟一个投影，使多个选择或投影能同时执行，或在一次扫描中全部完成

5）把上述得到的语法树的内节点分组。

• 每一双目运算(×，连接 ，∪，-)和它所有的直接祖先为一组(这些直接祖先是(σ，π运算)
• 如果其后代直到叶子全是单目运算，则也将它们并入该组
• 但当双目运算是笛卡尔积(×)，而且后面不是与它组成等值连接的选择时，则不能把选择与这个双目运算组成同一组

9.4 物理优化

• 代数优化改变查询语句中操作的次序和组合，不涉及底层的存取路径

• 对于一个查询语句有许多存取方案，它们的执行效率不同， 仅仅进行代数优化是不够的

• 物理优化就是要选择高效合理的操作算法或存取路径，求得优化的查询计划

  【物理优化方法】

  • 基于规则的启发式优化

    启发式规则是指那些在大多数情况下都适用，但不是在每种情况下都是适用的规则。

  • 基于代价估算的优化

    优化器估算不同执行策略的代价，并选出具有最小代价的执行计划。

  • 两者结合的优化方法

    常常先使用启发式规则，选取若干较优的候选方案，减少代价估算的工作量

    然后分别计算这些候选方案的执行代价，较快地选出最终的优化方案

  9.4.1 基于启发式规则的存取路径选择优化

  【选择操作的启发式规则】

  ​ 对于小关系，使用全表顺序扫描，即使选择列上有索引

  ​ 对于大关系，启发式规则有：

  ​ （1）对于选择条件是“主码＝值”的查询

  ​ 查询结果最多是一个元组，可以选择主码索引，一般的关系数据库管理系统会自动建立主码索引

  ​ （2）对于选择条件是“非主属性＝值”的查询，并且选择列上有索引

  ​ 要估算查询结果的元组数目

  ​ 如果比例较小(<10%)可以使用索引扫描方法

  ​ 否则还是使用全表顺序扫描

  ​ （3）对于选择条件是属性上的非等值查询或者范围查询，并且选择列上有索引

  ​ 要估算查询结果的元组数目

  ​ 如果比例较小(<10%)可以使用索引扫描方法

  ​ 否则还是使用全表顺序扫描

  ​ （4）对于用AND连接的合取选择条件

  ​ - 如果有涉及这些属性的组合索引

  ​ 优先采用组合索引扫描方法

​ - 如果某些属性上有一般的索引，可以用索引扫描方法

​ 通过分别查找满足每个条件的指针，求指针的交集

​ 通过索引查找满足部分条件的元组，然后在扫描这些元组时判断是否满足剩余条件

​ - 其他情况：使用全表顺序扫描

​ （5）对于用OR连接的析取选择条件，一般使用全表顺序扫描

【连接操作的启发式规则】

​ （1）如果2个表都已经按照连接属性排序：选用排序-合并算法

	（2）如果一个表在连接属性上有索引：选用索引连接算法

​ （3）如果上面2个规则都不适用，其中一个表较小选用Hash join算法

​ （4）可以选用嵌套循环方法，并选择其中较小的表，确切地讲是占用的块数(b)较少的表，作为外表(外循环的表) 。

理由：

• 设连接表R与S分别占用的块数为Br与Bs

• 连接操作使用的内存缓冲区块数为K

• 分配K-1块给外表

• 如果R为外表，则嵌套循环法存取的块数为Br+BrBs/(K-1)

• 显然应该选块数小的表作为外表

9.4.2 基于代价的优化

• 启发式规则优化是定性的选择，适合解释执行的系统

  解释执行的系统，优化开销包含在查询总开销之中

• 编译执行的系统中查询优化和查询执行是分开的

  可以采用精细复杂一些的基于代价的优化方法

9.5 查询计划的执行

9.6 小 结

比较复杂的查询，尤其是涉及连接和嵌套的查询

• 不要把优化的任务全部放在关系数据库管理系统上
• 应该找出关系数据库管理系统的优化规律，以写出适合关系数据库管理系统自动优化的SQL语句
• 对于关系数据库管理系统不能优化的查询需要重写查询语句，进行手工调整以优化性能