MySQL性能分析(一)之执行计划(explain)详解

一、概述

通常查询慢SQL语句时会使用EXPLAIN命令来查看SQL语句的执行计划，通过返回的信息，可以了解到Mysql优化器是如何执行SQL语句，通过分析可以帮助我们提供优化的思路。

作用

  • 查看表的读取顺序
  • 查看数据库读取操作的操作类型
  • 查看哪些索引有可能被用到
  • 查看哪些索引真正被用到
  • 查看表之间的引用
  • 查看表中有多少行记录被优化器查询

二、语法与概要描述

explain extended select * from t_test;

通过以上sql查询，展示以下表格(以下表格数据仅作展示)：

mysql> explain select * from table;
+----+-------------+--------+------+---------------+------+---------+------+------+-------+
| id | select_type | table  | type | possible_keys | key  | key_len | ref  | rows | Extra |
+----+-------------+--------+------+---------------+------+---------+------+------+-------+
|  1 | SIMPLE      | t_test | ALL  | NULL          | NULL | NULL    | NULL |    2 | NULL  |
+----+-------------+--------+------+---------------+------+---------+------+------+-------+
  • id：选择标识符
  • select_type：表示查询的类型。
  • table：输出结果集的表
  • partitions：匹配的分区
  • type：表示表的连接类型
  • possible_keys：表示查询时，可能使用的索引
  • key：表示实际使用的索引
  • key_len：索引字段的长度
  • ref：列与索引的比较
  • rows：扫描出的行数(估算的行数)
  • filtered：按表条件过滤的行百分比
  • Extra：执行情况的描述和说明

三、字段说明

3.1 id

SELECT识别符。这是SELECT的查询序列号。

列数字越大越先执行，如果说数字一样大，那么就从上往下依次执行，id列为null的就表示这是一个结果集，不需要使用它来进行查询。

3.2 select_type(重要)

常见的有：

A：simple：表示不需要union操作或者不包含子查询的简单select查询。有连接查询时，外层的查询为simple，且只有一个

B：primary：一个需要union操作或者含有子查询的select，位于最外层的单位查询的select_type即为primary。且只有一个

C：union：union连接的两个select查询，第一个查询是dervied派生表，除了第一个表外，第二个以后的表select_type都是union

D：dependent union：与union一样，出现在union或union all语句中，但是这个查询要受到外部查询的影响

E：union result：包含union的结果集，在union和union all语句中,因为它不需要参与查询，所以id字段为null

F：subquery：除了from字句中包含的子查询外，其他地方出现的子查询都可能是subquery

G：dependent subquery：与dependent union类似，表示这个subquery的查询要受到外部表查询的影响

H：derived：from字句中出现的子查询，也叫做派生表，其他数据库中可能叫做内联视图或嵌套select

I：materialized：子查询执行后的物化表与外层查询进行连接查询

J：uncacheable subquery：对于外层的主表，子查询不可被物化，每次都需要计算(耗时操作)

K：uncacheable union：UNION操作中，内层的不可被物化的子查询(类似于uncacheable subquery)

3.3 table

显示的查询表名，如果查询使用了别名，那么这里显示的是别名，如果不涉及对数据表的操作，那么这显示为null，也可以是以下之一：

  1. <derivedN>：表示这个是临时表，后边的N就是执行计划中的id，表示结果来自于这个查询产生。
  2. <unionM,N>：与<derivedN>类似，也是一个临时表，表示这个结果来自于union查询的id为M,N的结果集。
  3. <subqueryN>：该行是指与物化子查询该行的结果id的值N。

3.4 partitions

查询将匹配记录的分区。该值NULL用于非分区表。

3.5 type(重要)

依次从好到差：system，const，eq_ref，ref，fulltext，ref_or_null，unique_subquery，index_subquery，range，index_merge，index，ALL，除了all之外，其他的type都可以使用到索引，除了index_merge之外，其他的type只可以用到一个索引

A：system：表中只有一行数据或者是空表，且只能用于myisam和memory表。如果是Innodb引擎表，type列在这个情况通常都是all或者index

B：const：使用唯一索引或者主键，返回记录一定是1行记录的等值where条件时，通常type是const。其他数据库也叫做唯一索引扫描

C：eq_ref：出现在要连接过个表的查询计划中，驱动表只返回一行数据，且这行数据是第二个表的主键或者唯一索引，且必须为not null，唯一索引和主键是多列时，只有所有的列都用作比较时才会出现eq_ref

D：ref：不像eq_ref那样要求连接顺序，也没有主键和唯一索引的要求，只要使用相等条件检索时就可能出现，常见与辅助索引的等值查找。或者多列主键、唯一索引中，使用第一个列之外的列作为等值查找也会出现，总之，返回数据不唯一的等值查找就可能出现。

E：fulltext：全文索引检索，要注意，全文索引的优先级很高，若全文索引和普通索引同时存在时，mysql不管代价，优先选择使用全文索引

F：ref_or_null：与ref方法类似，只是增加了null值的比较。实际用的不多。

G：unique_subquery：用于where中的in形式子查询，子查询返回不重复值唯一值

H：index_subquery：用于in形式子查询使用到了辅助索引或者in常数列表，子查询可能返回重复值，可以使用索引将子查询去重。

I：range：索引范围扫描，常见于使用>,<,is null,between,in,like等运算符的查询中。

J：index_merge：表示查询使用了两个以上的索引，最后取交集或者并集，常见and，or的条件使用了不同的索引，官方排序这个在ref_or_null之后，但是实际上由于要读取所个索引，性能可能大部分时间都不如range

K：index：索引全表扫描，把索引从头到尾扫一遍，常见于使用索引列就可以处理不需要读取数据文件的查询、可以使用索引排序或者分组的查询。

L：all：这个就是全表扫描数据文件，然后再在server层进行过滤返回符合要求的记录。通常可以通过增加索引来避免全表扫描

3.6 possible_keys

查询可能使用到的索引都会在这里列出来

3.7 key

查询真正使用到的索引，select_type为index_merge时，这里可能出现两个以上的索引，其他的select_type这里只会出现一个。

3.8 key_len

用于处理查询的索引长度，如果是单列索引，那就整个索引长度算进去，如果是多列索引，那么查询不一定都能使用到所有的列，具体使用到了多少个列的索引，这里就会计算进去，没有使用到的列，这里不会计算进去。留意下这个列的值，算一下你的多列索引总长度就知道有没有使用到所有的列了。要注意，mysql的ICP特性使用到的索引不会计入其中。另外，key_len只计算where条件用到的索引长度，而排序和分组就算用到了索引，也不会计算到key_len中。参见另一篇分享(FAQ系列-解读EXPLAIN执行计划中的key_len)

3.9 ref

如果是使用的常数等值查询，这里会显示const，如果是连接查询，被驱动表的执行计划这里会显示驱动表的关联字段，如果是条件使用了表达式或者函数，或者条件列发生了内部隐式转换，这里可能显示为func

3.10 rows

这里是执行计划中估算的扫描行数，不是精确值

3.11 filtered

使用explain extended时会出现这个列，5.7之后的版本默认就有这个字段，不需要使用explain extended了。这个字段表示存储引擎返回的数据在server层过滤后，剩下多少满足查询的记录数量的比例，注意是百分比，不是具体记录数

3.12 Extra

这个列可以显示的信息非常多，有几十种，常用的有

A：distinct：在select部分使用了distinct关键字。

B：no tables used：不带from字句的查询或者From dual查询。使用not in()形式子查询或not exists()运算符的连接查询，这种叫做反连接。即，一般连接查询是先查询内表，再查询外表，反连接就是先查询外表，再查询内表。

C：using filesort：说明mysql会对数据使用一个外部的索引排序，而不是按照表内的索引顺序进行读取。mysql中无法利用索引完成的排序操作称为“文件排序”。排序时无法使用到索引时，就会出现这个。常见于order by语句中，需要尽快优化

D：using index：查询时不需要回表查询，直接通过索引就可以获取查询的数据。

E：using join buffer（block nested loop），using join buffer（batched key accss）：5.6.x之后的版本优化关联查询的BNL，BKA特性。主要是减少内表的循环数量以及比较顺序地扫描查询。

F：using sort_union，using_union，using intersect，using sort_intersection：

  • using intersect：表示使用and的各个索引的条件时，该信息表示是从处理结果获取交集；
  • using union：表示使用or连接各个使用索引的条件时，该信息表示从处理结果获取并集；
  • using sort_union和using sort_intersection：与前面两个对应的类似，只是他们是出现在用and和or查询信息量大时，先查询主键，然后进行排序合并后，才能读取记录并返回。

G：using temporary：表示使用了临时表存储中间结果。临时表可以是内存临时表和磁盘临时表，执行计划中看不出来，需要查看status变量，used_tmp_table，used_tmp_disk_table才能看出来。常见于order by和分组查询group by。group by一定要遵循所建索引的顺序与个数。需要尽快优化

H：using where：表示存储引擎返回的记录并不是所有的都满足查询条件，需要在server层进行过滤。查询条件中分为限制条件和检查条件，5.6之前，存储引擎只能根据限制条件扫描数据并返回，然后server层根据检查条件进行过滤再返回真正符合查询的数据。5.6.x之后支持ICP特性(index condition pushdown，索引下推)，可以把检查条件也下推到存储引擎层，不符合检查条件和限制条件的数据，直接不读取，这样就大大减少了存储引擎扫描的记录数量。extra列显示using index condition

I：firstmatch(tb_name)：5.6.x开始引入的优化子查询的新特性之一，常见于where字句含有in()类型的子查询。如果内表的数据量比较大，就可能出现这个。

J：loosescan(m..n)：5.6.x之后引入的优化子查询的新特性之一，在in()类型的子查询中，子查询返回的可能有重复记录时，就可能出现这个。

除了这些之外，还有很多查询数据字典库，执行计划过程中就发现不可能存在结果的一些提示信息

总的来说，我们只需要关注结果中的几列：

列名 备注
type 本次查询表联接类型，从这里可以看到本次查询大概的效率
key 最终选择的索引，如果没有索引的话，本次查询效率通常很差
key_len 本次查询用于结果过滤的索引实际长度
rows 预计需要扫描的记录数，预计需要扫描的记录数越小越好
Extra 额外附加信息，主要确认是否出现Using filesort、Using temporary这两种情况

再来看下Extra列中需要注意出现的几种情况：

关键字 备注
Using filesort 将用外部排序而不是按照索引顺序排列结果，数据较少时从内存排序，否则需要在磁盘完成排序，
代价非常高，需要添加合适的索引
Using temporary 需要创建一个临时表来存储结果，这通常发生在对没有索引的列进行GROUP BY时，或者
ORDER BY里的列不都在索引里，需要添加合适的索引
Using index 表示MySQL使用覆盖索引避免全表扫描，不需要再到表中进行二次查找数据，这是比较好的结果
之一。注意不要和type中的index类型混淆
Using where 通常是进行了全表/全索引扫描后再用WHERE子句完成结果过滤，需要添加合适的索引
Impossible WHERE 对Where子句判断的结果总是false而不能选择任何数据，例如where 1=0，无需过多关注
Select tables optimized away 使用某些聚合函数来访问存在索引的某个字段时，优化器会通过索引直接一次定位到所需要的数据行
完成整个查询，例如MIN()\MAX()，这种也是比较好的结果之一

再说下，5.6开始支持optimizer trace功能，看样子在执行计划方面是要逐渐和ORACLE看齐。

四、案例分析

4.1 简单查询

# MySQL5.6/5.7 
mysql> explain select * from t1 join t2 on (t1.b=t2.b) where t2.b>=1 and t2.b<=2000;
+----+-------------+-------+------------+------+---------------+------+---------+------+--------+----------+----------------------------------------------------+
| id | select_type | table | partitions | type | possible_keys | key  | key_len | ref  | rows   | filtered | Extra                                              |
+----+-------------+-------+------------+------+---------------+------+---------+------+--------+----------+----------------------------------------------------+
|  1 | SIMPLE      | t1    | NULL       | ALL  | NULL          | NULL | NULL    | NULL |   1000 |   100.00 | Using where                                        |
|  1 | SIMPLE      | t2    | NULL       | ALL  | NULL          | NULL | NULL    | NULL | 908583 |     1.11 | Using where; Using join buffer (Block Nested Loop) |
+----+-------------+-------+------------+------+---------------+------+---------+------+--------+----------+----------------------------------------------------+
2 rows in set, 1 warning (0.02 sec)

上面使用BNL算法来join这个语句的执行流程如下：

  1. 把表t1的所有字段取出来，存入join_buffer中。这个表只有1000行，join_buffer_size默认值是256k，可以完全存入。
  2. 扫描表t2，取出每一行数据跟join_buffer中的数据进行对比，
    • 如果不满足t1.b=t2.b，则跳过；
    • 如果满足t1.b=t2.b,再判断其他条件，也就是是否满足t2.b处于[1,2000]的条件，如果是，就作为结果集的一部分返回，否则跳过。

风险点：对于表t2的每一行，判断join是否满足的时候，都需要遍历join_buffer中的所有行。因此判断等值条件的次数是1000*100万=10亿次，这个判断的工作量很大。此时，查询会巨慢。

4.2 优化查询

在MySQL8.0中可使用hash join，执行计划如下：

mysql> explain select * from t1 join t2 on (t1.b=t2.b) where t2.b>=1 and t2.b<=2000;
+----+-------------+-------+------------+------+---------------+------+---------+------+--------+----------+--------------------------------------------+
| id | select_type | table | partitions | type | possible_keys | key  | key_len | ref  | rows   | filtered | Extra                                      |
+----+-------------+-------+------------+------+---------------+------+---------+------+--------+----------+--------------------------------------------+
|  1 | SIMPLE      | t1    | NULL       | ALL  | NULL          | NULL | NULL    | NULL |   1000 |   100.00 | Using where                                |
|  1 | SIMPLE      | t2    | NULL       | ALL  | NULL          | NULL | NULL    | NULL | 998782 |     1.11 | Using where; Using join buffer (hash join) |
+----+-------------+-------+------------+------+---------------+------+---------+------+--------+----------+--------------------------------------------+
2 rows in set, 1 warning (0.00 sec)

可以看到，使用hash join算法，查询效率提升了很多。

五、格式化输出

explain命令的输出结果可以用format参数指定输出格式，包括传统格式、json格式、tree格式以及可视化输出。

5.1 explain format=tree（MySQL 8.0+）

特点：分层展示执行流程，专治复杂查询的“结构混乱症”。
核心用途：

  • 分析嵌套查询、CTE、UNION的执行顺序
  • 可视化优化器的JOIN策略选择

实战案例：

explain format=tree select * from t1 join t2 on (t1.b=t2.b) where t2.b>=1 and t2.b<=2000;

输出解析：

-> Inner hash join (t2.b = t1.b)  (cost=99971983.13 rows=11095359)
-> Table scan on t2  (cost=94.79 rows=998782)
-> Hash
-> Filter: ((t1.b >= 1) and (t1.b <= 2000))  (cost=101.00 rows=1000)
-> Table scan on t1  (cost=101.00 rows=1000)

结论：

  • mysql 8.0中可以使用hash join做表连接。
  • 先全表扫描t1大概需要扫1000行，然后通过条件(t1.b >= 1) and (t1.b <= 2000)过滤出约1000行数据，构建hash表（内存中）。
  • 对t2表全表扫，预估需要扫100万行。
  • t2.b没有索引，无法快速过滤。将t2表的每一行与内存中从t1构建的哈希表做hash join，即需要100万次的hash join。

5.2 explain analyze（MySQL 8.0+ 谨慎在生产环境使用）

MySQL 8.0.18版本开始支持查询分析工具explain analyze，该工具不仅会实际执行SQL语句，还会展示SQL语句详细的执行信息，包含执行算子（Iterator）粒度的扫描行数、执行耗时、迭代次数等信息。

explain analyze工具是MySQL explain format=tree功能的扩展，除了展示执行计划和代价估算之外，还提供了细粒度执行算子的耗时等信息。这使得DBA和开发人员能够基于代价估算和算子实际执行耗时信息，判断执行计划是否合理，并识别出后续的优化点。

特点：真实执行SQL并记录每个步骤的耗时（生产环境中慎用！）
核心用途：

  • 精准定位性能瓶颈
  • 验证优化器成本估算是否准确

实战案例（测试环境！）：

# mysql 8.0
explain analyze select * from t1 join t2 on (t1.b=t2.b) where t2.b>=1 and t2.b<=2000;

输出解析（简化版）：

-> Inner hash join (t2.b = t1.b)  (cost=99915981.27 rows=11089138) (actual time=0.749..377.498 rows=1000 loops=1)
-> Table scan on t2  (cost=94.79 rows=998222) (actual time=0.028..274.516 rows=1000000 loops=1)
-> Hash
-> Filter: ((t1.b >= 1) and (t1.b <= 2000))  (cost=101.00 rows=1000) (actual time=0.063..0.469 rows=1000 loops=1)
-> Table scan on t1  (cost=101.00 rows=1000) (actual time=0.060..0.336 rows=1000 loops=1)

计时器解读：

  • actual time=0.749..377.498：第一个数字是首行返回时间(ms)，第二个是所有行的时间
  • rows=1000：预估行数
  • loops=1：该操作执行次数

执行计划解读：

  • t1全表扫和构建哈希表花费0.469ms。
  • t2全表扫需要扫1000000行，花费274.516ms。
  • 通过Inner hash join连接算法，总耗时377.498ms，返回1000行。

因为MySQL 8.0有hash join优化，所以整体执行时间可以接受。（若在MySQL 5.7中会执行该操作，会巨慢。）

5.3 explain format=json

json格式是四种格式里面输出信息最详尽的格式，里面包含了执行的成本信息。

通过explain format=json我们可以看到一些通过explain看不到的信息。在查询优化中我们可以看到：访问索引路径的used_key_parts，使用到索引的哪些列做范围扫描的界定。rows_produced_per_join:join产生多少行数据。used_columns:表会访问哪些列。同时我们可以看到每个query block的代价，执行到每个表的代价。

  • 特点：结构化数据，能喂给程序分析
  • 适用场景：需要程序化分析执行计划时
  • 优点：信息最全，包含成本估算等高级信息
  • 缺点：人类阅读不友好

实战案例：

explain format=json 
select * from t1 join t2 on (t1.b=t2.b) where t2.b>=1 and t2.b<=2000;

输出解析：

 {
  "query_block": {
    "select_id": 1,
    "cost_info": {
      "query_cost": "20366529.25"               ##查询总成本
    },
    "nested_loop": [                           ##join算法：NLJ
      {
        "table": {
          "table_name": "t1",                  ##t1是驱动表
          "access_type": "ALL",                ##访问数据的方式是ALL，即全表扫
          "rows_examined_per_scan": 1000,      ##全表扫的索引行数
          "rows_produced_per_join": 1000,      ##join产生多少行数
          "filtered": "100.00",                ##满足关联条件数据占扫描行数的比例
          "cost_info": {
            "read_cost": "4.00",               ##这里包含了所有的IO成本+部分CPU成本
            "eval_cost": "200.00",             ##计算扇出的CPU成本
            "prefix_cost": "204.00",           ##read_cost+eval_cost
            "data_read_per_join": "15K"        ##在此次查询中需要读取的数据量
          },
          "used_columns": [
            "id",
            "a",
            "b"
          ],
          "attached_condition": "((`zlz`.`t1`.`b` >= 1) and (`zlz`.`t1`.`b` <= 2000))"
        }
      },
      {
        "table": {
          "table_name": "t2",                ##t2为被驱动表,所以可能被读取多次
          "access_type": "ALL",              ##关联查询时访问驱动表方式是ALL
          "rows_examined_per_scan": 908583,  ##关联查询时，每次扫描被驱动表908583行数据
          "rows_produced_per_join": 10093347, ##预估被驱动表需要查询的行数
          "filtered": "1.11",                 ##满足关联条件数据占扫描行数的比例
          "using_join_buffer": "Block Nested Loop",
          "cost_info": {
            "read_cost": "179630.44",    ##这里的read_cost和eval_cost是访问多次t2表后累加起来的值
            "eval_cost": "2018669.51",
            "prefix_cost": "20366529.26",    ##整个连接查询预计的成本=驱动表的总成本+多次访问被驱动表的成本
            "data_read_per_join": "154M"
          },
          "used_columns": [
            "id",
            "a",
            "b"
          ],
          "attached_condition": "(`zlz`.`t2`.`b` = `zlz`.`t1`.`b`)"
        }
      }
    ]
  }
}

六、拓展

关于explain和explain extended

Note
In older MySQL releases, extended information was produced using EXPLAIN EXTENDED. That syntax is still recognized for backward compatibility but extended output is now enabled by default, so the EXTENDED keyword is superfluous and deprecated. Its use results in a warning; expect it to be removed from EXPLAIN syntax in a future MySQL release.

以上大意就是，用explain extended查看执行计划会比explain多一列filtered。filtered列给出了一个百分比的值，这个百分比值和rows列的值一起使用，可以估计出那些将要和explain中的前一个表进行连接的行的数目。前一个表就是指explain的id列的值比当前表的id小的表。不过在5.7版默认展示全部列，所以explain和explain extended已经没差别了。

参考文章

posted @ 2022-04-22 18:29  夏尔_717  阅读(625)  评论(0)    收藏  举报