Fork me on GitHub

MySQL| 索引

索引

索引的出现其实就是为了提高数据查询的效率,就像书的目录一样。

1. 索引的常见模型

用于提高读写效率的数据结构很多,如哈希表、有序数组和搜索树,这3种的区别如下:

① 哈系表

哈希表是一种以键-值(key-value)存储数据的结构,我们只要输入待查找的值即key,就可以找到其对应的值即Value。哈希的思路很简单,把值放在数组里,用一个哈希函数把key

换算成一个确定的位置,然后把value放在数组的这个位置。 不可避免地,多个key值经过哈希函数的换算,会出现同一个值的情况。处理这种情况的一种方法是,拉出一个链表。 假

设,你现在维护着一个身份证信息和姓名的表,需要根据身份证号查找对应的名字,这时对应的哈希索引的示意图如下所示:

     

 

 图中,User2和User4根据身份证号算出来的值都是N,但没关系,后面还跟了一个链表。假设, 这时候你要查ID_card_n2对应的名字是什么,处理步骤就是:

首先,将ID_card_n2通过哈希函数算出N;

然后,按顺序遍历,找到User2。

需要注意的是,图中四个ID_card_n的值并不是递增的,这样做的好处是增加新的User时速度会很快,只需要往后追加。但缺点是,因为不是有序的,所以哈希索引做区间查询的速度

是很慢的。 你可以设想下,如果你现在要找身份证号在[ID_card_X, ID_card_Y]这个区间的所有用户,就必须全部扫描一遍了。

所以,哈希表这种结构适用于只有等值查询的场景,比如Memcached及其他一些NoSQL引 擎。

② 有序数组 

而有序数组在等值查询和范围查询场景中的性能就都非常优秀。还是上面这个根据身份证号 查名字的例子,如果使用有序数组来实现的话,示意图如下所示:

    

 

 假设身份证号没有重复,这个数组就是按照身份证号递增的顺序保存的。这时候如果你 要查ID_card_n2对应的名字,用二分法就可以快速得到,这个时间复杂度是O(log(N))。 同时

很显然,这个索引结构支持范围查询。你要查身份证号在[ID_card_X, ID_card_Y]区间的 User,可以先用二分法找到ID_card_X(如果不存在ID_card_X,就找到大于ID_card_X的第

一 个User),然后向右遍历,直到查到第一个大于ID_card_Y的身份证号,退出循环。 如果仅仅看查询效率,有序数组就是最好的数据结构了。但是,在需要更新数据的时候就麻烦

了,你往中间插入一个记录就必须得挪动后面所有的记录,成本太高。 所以,有序数组索引只适用于静态存储引擎,比如你要保存的是2017年某个城市的所有人口信息,这类不会再

修改的数据。

③ 二叉树

二叉搜索树也是经典数据结构了。还是上面根据身份证号查名字的例子,如果用二叉搜索树来实现的话,示意图如下所示:

       

 二叉搜索树的特点是:每个节点的左儿子小于父节点,父节点又小于右儿子。

如果要查 ID_card_n2的话,按照图中的搜索顺序就是按照UserA ->UserC->UserF ->User2这个路径得到。这个时间复杂度是O(log(N))。 当然为了维持O(log(N))的查询复杂度,就需

要保持这棵树是平衡二叉树。为了做这个保证,更新的时间复杂度也是O(log(N))。

树可以有二叉,也可以有多叉。多叉树就是每个节点有多个儿子,儿子之间的大小保证从左到右递增。二叉树是搜索效率最高的,但是实际上大多数的数据库存储却并不使用二叉树。

其原因是,索引不止存在内存中,还要写到磁盘上。 你可以想象一下一棵100万节点的平衡二叉树,树高20。一次查询可能需要访问20个数据块。在机械硬盘时代,从磁盘随机读一

个数据块需要10ms左右的寻址时间。也就是说,对于一个100 万行的表,如果使用二叉树来存储,单独访问一个行可能需要20个10 ms的时间,这个查询可真够慢的。

为了让一个查询尽量少地读磁盘,就必须让查询过程访问尽量少的数据块。那么,我们就不应该使用二叉树,而是要使用“N叉”树。这里,“N叉”树中的“N”取决于数据块的大小

以InnoDB的一个整数字段索引为例,这个N差不多是1200。这棵树高是4的时候,就可以存1200的3次方个值,这已经17亿了。考虑到树根的数据块总是在内存中的,一个10亿行的表

上一个整数字段的索引,查找一个值最多只需要访问3次磁盘。其实,树的第二层也有很大概率在内存中,那么访问磁盘的平均次数就更少了。 N叉树由于在读写上的性能优点,以及

适配磁盘的访问模式,已经被广泛应用在数据库引擎中了。 不管是哈希还是有序数组,或者N叉树,它们都是不断迭代、不断优化的产物或者解决方案。

数据库技术发展到今天,跳表、LSM树等数据结构也被用于引擎设计中。 你心里要有个概念,数据库底层存储的核心就是基于这些数据模型的。每碰到一个新数据库,我们需要先关

注它的数据模型,这样才能从理论上分析出这个数据库的适用场景。

在MySQL中,索引是在存储引擎层实现的,所以并没有统一的索引标准,即不同存储引擎的索引的工作方式并不一样。而即使多个存储引擎支持同一种类型的索引,其底层的实现也

可能不同。由于InnoDB存储引擎在MySQL数据库中使用最为广泛,所以以InnoDB为例,分析一下其中的索引模型。

Mysql存储引擎

如何用命令查看
  #看你的mysql现在已提供什么存储引擎:
  mysql> show engines;

#看你的mysql当前默认的存储引擎:
  mysql> show variables like '%storage_engine%';

1、InnoDB存储引擎
InnoDB是MySQL的默认事务型引擎,它被设计用来处理大量的短期(short-lived)事务。除非有非常特别的原因需要使用其他的存储引擎,否则应该优先考虑InnoDB引擎。
 
2、MyISAM存储引擎
MyISAM提供了大量的特性,包括全文索引、压缩、空间函数(GIS)等,但MyISAM不支持事务和行级锁,有一个毫无疑问的缺陷就是崩溃后无法安全恢复。
 
3、Archive引擎
Archive档案存储引擎只支持INSERT和SELECT操作,在MySQL5.1之前不支持索引。
Archive表适合日志和数据采集类应用。
根据英文的测试结论来看,Archive表比MyISAM表要小大约75%,比支持事务处理的InnoDB表小大约83%。
 
4、Blackhole引擎
Blackhole引擎没有实现任何存储机制,它会丢弃所有插入的数据,不做任何保存。但服务器会记录Blackhole表的日志,所以可以用于复制数据到备库,或者简单地记录到日志。但这种应用方式会碰到很多问题,因此并不推荐。 
 
5、CSV引擎 
CSV引擎可以将普通的CSV文件作为MySQL的表来处理,但不支持索引。
CSV引擎可以作为一种数据交换的机制,非常有用。
CSV存储的数据直接可以在操作系统里,用文本编辑器,或者excel读取。
 
6、Memory引擎
如果需要快速地访问数据,并且这些数据不会被修改,重启以后丢失也没有关系,那么使用Memory表是非常有用。Memory表至少比MyISAM表要快一个数量级。
 
7、Federated引擎
Federated引擎是访问其他MySQL服务器的一个代理,尽管该引擎看起来提供了一种很好的跨服务器的灵活性,但也经常带来问题,因此默认是禁用的。
 

区别:

对比项        MyISAM                          InnoDB
外键            不支持                            支持
事务            不支持                            支持
行表锁 表锁,即使操作一条记录也会锁住 整个表,不适合高并发的操作。 行锁,操作时只锁某一行,不对其它行有影响,适合高并发的操作
缓存     只缓存索引,不缓存真实数据 不仅缓存索引还要缓存真实数据,对内存要求较高,而且内存大小对性能有决定性的影响
关注点 节省资源、消耗少、简单业务 并发写、事务、更大资源
默认安装 Y Y 默认使用 N Y 自带系统表使用 Y N

 

索引(Index)是帮助MySQL高效获取数据的数据结构。可以得到索引的本质:索引是数据结构。

你可以简单理解为“排好序的快速查找数据结构”

在数据之外,数据库系统还维护着满足特定查找算法的数据结构,这些数据结构以某种方式引用(指向)数据,

这样就可以在这些数据结构上实现高级查找算法。这种数据结构,就是索引。下图就是一种可能的索引方式示例:

 

左边是数据表,一共有两列七条记录,最左边的是数据记录的物理地址

为了加快Col2的查找,可以维护一个右边所示的二叉查找树,每个节点分别包含索引键值和一个指向对应数据记录物理地址的指针,这样就可以运用二叉查找在一定的复杂度内获取到

相应数据,从而快速的检索出符合条件的记录。

结论:  数据本身之外,数据库还维护着一个满足特定查找算法的数据结构,这些数据结构以某种方式指向数据,这样就可以在这些数据结构的基础上实现高级查找算法,这种数据结

构就是索引。

 一般来说索引本身也很大,不可能全部存储在内存中,因此索引往往以索引文件的形式存储的磁盘上

优势:类似大学图书馆建书目索引,提高数据检索的效率,降低数据库的IO成本;通过索引列对数据进行排序,降低数据排序的成本,降低了CPU的消耗

劣势:虽然索引大大提高了查询速度,同时却会降低更新表的速度,如对表进行INSERT、UPDATE和DELETE。因为更新表时,MySQL不仅要保存数据,还要保存一下索引文件每次

更新添加了索引列的字段,都会调整因为更新所带来的键值变化后的索引信息;实际上索引也是一张表,该表保存了主键与索引字段,并指向实体表的记录,所以索引列也是要占用空

间的。

mysql索引结构

 BTree索引

 

【初始化介绍】 
一颗b树,浅蓝色的块我们称之为一个磁盘块,可以看到每个磁盘块包含几个数据项(深蓝色所示)和指针(黄色所示),
如磁盘块1包含数据项17和35,包含指针P1、P2、P3,
P1表示小于17的磁盘块,P2表示在17和35之间的磁盘块,P3表示大于35的磁盘块。
真实的数据存在于叶子节点即3、5、9、10、13、15、28、29、36、60、75、79、90、99。
非叶子节点只不存储真实的数据,只存储指引搜索方向的数据项,如17、35并不真实存在于数据表中。
 
【查找过程】
如果要查找数据项29,那么首先会把磁盘块1由磁盘加载到内存,此时发生一次IO,在内存中用二分查找确定29在17和35之间,锁定磁盘块1的P2指针,内存时间因为非常短(相比磁盘的IO)可以忽略不计,
通过磁盘块1的P2指针的磁盘地址把磁盘块3由磁盘加载到内存,发生第二次IO,29在26和30之间,锁定磁盘块3的P2指针,通过指针加载磁盘块8到内存,发生第三次IO,
同时内存中做二分查找找到29,结束查询,总计三次IO。 真实的情况是,3层的b+树可以表示上百万的数据,如果上百万的数据查找只需要三次IO,性能提高将是巨大的,
如果没有索引,每个数据项都要发生一次IO,那么总共需要百万次的IO,显然成本非常非常高。

时间复杂度

同一问题可用不同算法解决,而一个算法的质量优劣将影响到算法乃至程序的效率。算法分析的目的在于选择合适算法和改进算法。

 

 

B+Tree索引

B树和B+树的区别

B+Tree与B-Tree 的区别
 
1)B-树的关键字和记录是放在一起的,叶子节点可以看作外部节点,不包含任何信息;B+树的非叶子节点中只有关键字和指向下一个节点的索引,记录只放在叶子节点中。
2)在B-树中,越靠近根节点的记录查找时间越快,只要找到关键字即可确定记录的存在;而B+树中每个记录的查找时间基本是一样的,都需要从根节点走到叶子节点,
而且在叶子节点中还要再比较关键字。从这个角度看B-树的性能好像要比B+树好,而在实际应用中却是B+树的性能要好些。
因为B+树的非叶子节点不存放实际的数据,这样每个节点可容纳的元素个数比B-树多,树高比B-树小,这样带来的好处是减少磁盘访问次数。
尽管B+树找到一个记录所需的比较次数要比B-树多,但是一次磁盘访问的时间相当于成百上千次内存比较的时间,因此实际中B+树的性能可能还会好些,
而且B+树的叶子节点使用指针连接在一起,方便顺序遍历(例如查看一个目录下的所有文件,一个表中的所有记录等),这也是很多数据库和文件系统使用B+树的缘故。   思考:为什么说B+树比B-树更适合实际应用中操作系统的文件索引和数据库索引? 1) B+树的磁盘读写代价更低   B+树的内部结点并没有指向关键字具体信息的指针。因此其内部结点相对B 树更小。如果把所有同一内部结点的关键字存放在同一盘块中,那么盘块所能容纳的关键字数量也越多。
一次性读入内存中的需要查找的关键字也就越多。相对来说IO读写次数也就降低了。 2) B+树的查询效率更加稳定   由于非终结点并不是最终指向文件内容的结点,而只是叶子结点中关键字的索引。所以任何关键字的查找必须走一条从根结点到叶子结点的路。
所有关键字查询的路径长度相同,导致每一个数据的查询效率相当。

 

聚簇索引与非聚簇索引

(两种方式比喻为字典的字母表的索引和偏旁的索引)

mysql索引分类

① 单值索引

即一个索引只包含单个列,一个表可以有多个单列索引;

随表一起建索引:
CREATE TABLE customer (id INT(10) UNSIGNED  AUTO_INCREMENT ,customer_no VARCHAR(200),customer_name VARCHAR(200),
  PRIMARY KEY(id),
  KEY (customer_name)
);
  
单独建单值索引:
CREATE  INDEX idx_customer_name ON customer(customer_name); 
 
删除索引:
DROP INDEX idx_customer_name  on customer;

② 唯一索引

索引列的值必须唯一,但允许有空值

随表一起建索引:
CREATE TABLE customer (id INT(10) UNSIGNED  AUTO_INCREMENT ,customer_no VARCHAR(200),customer_name VARCHAR(200),
  PRIMARY KEY(id),
  KEY (customer_name),
  UNIQUE (customer_no)
);
  
单独建唯一索引:
CREATE UNIQUE INDEX idx_customer_no ON customer(customer_no); 
 
删除索引:
DROP INDEX idx_customer_no on customer ;

③ 主键索引

设定为主键后数据库会自动建立索引,innodb为聚簇索引

随表一起建索引:
CREATE TABLE customer (id INT(10) UNSIGNED  AUTO_INCREMENT ,customer_no VARCHAR(200),customer_name VARCHAR(200),
  PRIMARY KEY(id) 
);
   
CREATE TABLE customer2 (id INT(10) UNSIGNED   ,customer_no VARCHAR(200),customer_name VARCHAR(200),
  PRIMARY KEY(id) 
);
 
 单独建主键索引:
ALTER TABLE customer 
 add PRIMARY KEY customer(customer_no);  
 
删除建主键索引:
ALTER TABLE customer 
 drop PRIMARY KEY ;  
 
修改建主键索引:
必须先删除掉(drop)原索引,再新建(add)索引

④ 复合索引

即一个索引包含多个列

随表一起建索引:
CREATE TABLE customer (id INT(10) UNSIGNED  AUTO_INCREMENT ,customer_no VARCHAR(200),customer_name VARCHAR(200),
  PRIMARY KEY(id),
  KEY (customer_name),
  UNIQUE (customer_name),
  KEY (customer_no,customer_name)
);
 
单独建索引:
CREATE  INDEX idx_no_name ON customer(customer_no,customer_name); 
 
删除索引:
DROP INDEX idx_no_name  on customer ;

基本语法

创建
CREATE  [UNIQUE ]  INDEX [indexName] ON table_name(column)) 
删除
DROP INDEX [indexName] ON mytable; 
查看
SHOW INDEX FROM table_name\G
使用ALTER命令:有四种方式来添加数据表的索引:
①ALTER TABLE tbl_name ADD PRIMARY KEY (column_list): 该语句添加一个主键,这意味着索引值必须是唯一的,且不能为NULL。
 
②ALTER TABLE tbl_name ADD UNIQUE index_name (column_list): 这条语句创建索引的值必须是唯一的(除了NULL外,NULL可能会出现多次)。
 
③ALTER TABLE tbl_name ADD INDEX index_name (column_list): 添加普通索引,索引值可出现多次。
 
④ALTER TABLE tbl_name ADD FULLTEXT index_name (column_list):该语句指定了索引为 FULLTEXT ,用于全文索引。
 

哪些情况需建索引:

  主键自动建立唯一索引、频繁作为查询条件的字段应该创建索引、查询中与其它表关联的字段,外键关系建立索引、单键/组合索引的选择问题, 组合索引性价比更高、

查询中排序的字段,排序字段若通过索引去访问将大大提高排序速度、查询中统计或者分组字段。

哪些情况不要创建索引:

  表记录太少、经常增删改的表或者字段(Why:提高了查询速度,同时却会降低更新表的速度,如对表进行INSERT、UPDATE和DELETE。

因为更新表时,MySQL不仅要保存数据,还要保存一下索引文件)

 Where条件里用不到的字段不创建索引、过滤性不好的不适合建索引

 

索引优化分析

性能下降SQL慢 执行时间长 等待时间长

数据过多(分库分表)、关联了太多的表,太多join(SQL优化)、没有充分利用到索引(索引建立)、服务器调优及各个参数设置(调整my.cnf)

 

 

2. InnoDB 的索引模型

在InnoDB中,表都是根据主键顺序以索引的形式存放的,这种存储方式的表称为索引组织表。 InnoDB使用了B+树索引模型,所以数据都是存储在B+树中。

 每一个索引在InnoDB里面对应一棵B+树。 假设有一个主键列为ID的表,表中有字段k,并且在k上有索引。 这个表的建表语句是:

create table T(
    id int primary key,
    k int not null,
    name varchar(16),
index (k)
)engine=InnoDB;

表中R1~R5的(ID,k)值分别为(100,1)、(200,2)、(300,3)、(500,5)和(600,6),两棵树的示例示意图如下。

    

从图中不难看出,根据叶子节点的内容,索引类型分为主键索引和非主键索引。

  • 主键索引的叶子节点存的是整行数据。在InnoDB里,主键索引也被称为聚簇索引(clustered index)
  • 非主键索引的叶子节点内容是主键的值。在InnoDB里,非主键索引也被称为二级索引 (secondary index)

根据上面的索引结构说明,讨论一个问题:基于主键索引和普通索引的查询有什么区别?

如果语句是select *  from  T where ID=500,即主键查询方式,则只需要搜索ID这棵B+树;

如果语句是select *  from  T  where k=5,即普通索引查询方式,则需要先搜索k索引树,得到ID 的值为500,再到ID索引树搜索一次。这个过程称为回表。 也就是说,基于非主键索引

的查询需要多扫描一棵索引树。因此,我们在应用中应该尽量使用主键查询。

索引维护

B+树为了维护索引有序性,在插入新值的时候需要做必要的维护。以上图为例,如果插入新的行ID值为700,则只需要在R5的记录后面插入一个新记录。如果新插入的ID值为400,

就相对麻烦了,需要逻辑上挪动后面的数据,空出位置。

而更糟的情况是,如果R5所在的数据页已经满了,根据B+树的算法,这时候需要申请一个新的数据页,然后挪动部分数据过去。这个过程称为页分裂。在这种情况下,性能自然会受

影响。 除了性能外,页分裂操作还影响数据页的利用率。原本放在一个页的数据,现在分到两个页中, 整体空间利用率降低大约50%。

当然有分裂就有合并。当相邻两个页由于删除了数据,利用率很低之后,会将数据页做合并。合并的过程,可以认为是分裂过程的逆过程。

基于上面的索引维护过程说明,看一个案例:

你可能在一些建表规范里面见到过类似的描述,要求建表语句里一定要有自增主键。当然事无绝对,我们来分析一下哪些场景下应该使用自增主键,而哪些场景下不应该。

自增主键是指自增列上定义的主键,在建表语句中一般是这么定义的: NOT  NULL PRIMARY KEY AUTO_INCREMENT

插入新记录的时候可以不指定ID的值,系统会获取当前ID最大值加1作为下一条记录的ID值。 也就是说,自增主键的插入数据模式,正符合了我们前面提到的递增插入的场景。每次插

入一条新记录,都是追加操作,都不涉及到挪动其他记录,也不会触发叶子节点的分裂

而有业务逻辑的字段做主键,则往往不容易保证有序插入,这样写数据成本相对较高。 除了考虑性能外,还可以从存储空间的角度来看。假设你的表中确实有一个唯一字段,比如字

符串类型的身份证号,那应该用身份证号做主键,还是用自增字段做主键呢?

由于每个非主键索引的叶子节点上都是主键的值。如果用身份证号做主键,那么每个二级索引的叶子节点占用约20个字节,而如果用整型做主键,则只要4个字节,如果是长整型

(bigint)则是8个字节。

 显然,主键长度越小,普通索引的叶子节点就越小,普通索引占用的空间也就越小。

所以,从性能和存储空间方面考量,自增主键往往是更合理的选择。

有没有什么场景适合用业务字段直接做主键的呢?

还是有的。比如,有些业务的场景需求是这样的:

  • 1. 只有一个索引;
  • 2. 该索引必须是唯一索引。

你一定看出来了,这就是典型的KV场景

由于没有其他索引,也就不用考虑其他索引的叶子节点大小的问题。 这时就要优先考虑上一段提到的“尽量使用主键查询”原则直接将这个索引设置为主键, 可以避免每次查询需要

搜索两棵树。

 

思考:

对于InnoDB表T,如果要重建索引 k,你的两个SQL语句可以这么写:(下面写法合理)
alter table T drop index k;
alter table T add index(k);

如果你要重建主键索引,也可以这么写: (下面写法不合理)
alter table T drop primary key;
alter table T add primary key(id);

对于上面这两个重建索引的作法,如果有不合适的,为什么,更好的方法是什么

通过两个alter 语句重建索引k,以及通过两个alter语句重建主键索引是否合理。

为什么要重建索引,索引可能因为删除,或者页分裂等原因,导致数据页有空洞,重建索引的过程会创建一个新的索引,把数据按顺序插入,这样页面的利用率最高,也就是索引更紧

凑、更省空间。 

重建索引k的做法是合理的,可以达到省空间的目的。但是,重建主键的过程不合理。不论是删除主键还是创建主键,都会将整个表重建。所以连着执行这两个语句的话,第一个语句

就白做了。这两个语句,你可以用这个语句代替 :  alter table Tengine=InnoDB

 

-------------------------------------------------------------

select * from T where k between 3 and 5; 需要执行几次树的搜索操作,会扫描多少行?

           

看看这条SQL查询语句的执行流程:

  • 1. 在k索引树上找到k=3的记录,取得 ID = 300;
  • 2. 再到ID索引树查到ID=300对应的R3;
  • 3. 在k索引树取下一个值k=5,取得ID=500;
  • 4. 再回到ID索引树查到ID=500对应的R4;
  • 5. 在k索引树取下一个值k=6,不满足条件,循环结束。

在这个过程中,回到主键索引树搜索的过程,我们称为回表。可以看到,这个查询过程读了k 索引树的3条记录(步骤1、3和5),回表了两次(步骤2和4)。 在这个例子中,由于查

询结果所需要的数据只在主键索引上有,所以不得不回表。那么,有没有可能经过索引优化,避免回表过程呢?

3. 覆盖索引

如果执行的语句是select ID fromTwhere k between 3 and 5,这时只需要查ID的值,而ID的值已经在k索引树上了,因此可以直接提供查询结果,不需要回表。也就是说,在这个查询

里面, 索引 k已经“覆盖了”我们的查询需求,我们称为覆盖索引

由于覆盖索引可以减少树的搜索次数,显著提升查询性能,所以使用覆盖索引是一个常用 的性能优化手段。

需要注意的是,在引擎内部使用覆盖索引在索引k上其实读了三个记录,R3~R5(对应的索引k 上的记录项),但是对于MySQL的Server层来说,它就是找引擎拿到了两条记录,因此

MySQL 认为扫描行数是2。

基于上面覆盖索引的说明,讨论一个问题:在一个市民信息表上,是否有必要将身份证号和名字建立联合索引? 假设这个市民表的定义是这样的:

CREATE TABLE `tuser` (
    `id` int(11) NOT NULL,
    `id_card` varchar(32) DEFAULT NULL,
    `name` varchar(32) DEFAULT NULL,
    `age` int(11) DEFAULT NULL,
    `ismale` tinyint(1) DEFAULT NULL,
    PRIMARY KEY (`id`),
    KEY `id_card` (`id_card`),
    KEY `name_age` (`name`,`age`)
) ENGINE=InnoDB

身份证号是市民的唯一标识。也就是说,如果有根据身份证号查询市民信息的需求, 我们只要在身份证号字段上建立索引就够了。而再建立一个(身份证号、姓名)的联合索引,是

不是浪费空间?

如果现在有一个高频请求,要根据市民的身份证号查询他的姓名,这个联合索引就有意义了。它可以在这个高频请求上用到覆盖索引,不再需要回表查整行记录,减少语句的执行时

间。 当然,索引字段的维护总是有代价的。因此,在建立冗余索引来支持覆盖索引时就需要权衡考虑了。

4. 最左前缀原则

如果为每一种查询都设计一个索引,索引是不是太多了。如果我现在要按照市民的身份证号去查他的家庭地址呢?虽然这个查询需求在业务中出现的概率不高,但总不能让它走全表扫

描吧?反过来说,单独为一个不频繁的请求创建一个(身份证号,地址)的 索引又感觉有点浪费。应该怎么做呢?

结论是: B+树这种索引结构,可以利用索引的“最左前缀”,来定位记录。 为了直观地说明这个概念,我们用(name,age)这个联合索引来分析。

      

 

可以看到,索引项是按照索引定义里面出现的字段顺序排序的。

当你的逻辑需求是查到所有名字是“张三”的人时,可以快速定位到ID4,然后向后遍历得到所有需要的结果。

如果你要查的是所有名字第一个字是“张”的人,你的SQL语句的条件是"where name like ‘张%’"。这时,你也能够用上这个索引,查找到第一个符合条件的记录是ID3,然后向后遍历,

直到不满足条件为止。 可以看到,不只是索引的全部定义,只要满足最左前缀,就可以利用索引来加速检索。这个最左前缀可以是联合索引的最左N个字段,也可以是字符串索引的最

左M个字符。

 

基于上面对最左前缀索引的说明,我们来讨论一个问题:在建立联合索引的时候,如何安排索 引内的字段顺序。

这里我们的评估标准是,索引的复用能力。因为可以支持最左前缀,所以当已经有了(a,b)这个联合索引后,一般就不需要单独在a上建立索引了。因此,第一原则是,如果通过调整顺

序,可以少维护一个索引,那么这个顺序往往就是需要优先考虑采用的。

所以现在你知道了,我们要为高频请求创建(身份证号,姓名)这个联合索引,并用这个索引支持“根据身份证号查询地址”的需求。

那么,如果既有联合查询,又有基于a、b各自的查询呢?查询条件里面只有b的语句,是无法使 用(a,b)这个联合索引的,这时候你不得不维护另外一个索引,也就是说你需要同时维护

(a,b)、 (b) 这两个索引。 这时我们要考虑的原则就是空间了。比如上面这个市民表的情况,name字段是比age字段大的 ,建议你创建一个(name, age)的联合索引和一个(age)的单字

段索引。

5. 索引下推

满足最左前缀原则时,最左前缀可以用于在索引中定位记录。那些不符合最左前缀的部分,会怎么样呢? 还是以市民表的联合索引(name, age)为例。

如果现在有一个需求:检索出表中“名字第一 个字是张,而且年龄是10岁的所有男孩”。那么,SQL语句是这么写的:

  select * from tuser where name like '张%' and age=10 and ismale=1;

根据最左前缀索引规则,这个语句在搜索索引树的时候,只能用 “张”,找到第一个满足条件的记录ID3。总比全表扫描要好。 然后呢? 当然是判断其他条件是否满足。

在MySQL 5.6之前,只能从ID3开始一个个回表。到主键索引上找出数据行,再对比字段值。 而MySQL 5.6 引入的索引下推优化(index condition pushdown), 可以在索引遍历过程

中,对索引中包含的字段先做判断,直接过滤掉不满足条件的记录,减少回表次数。 下图是这两个过程的执行流程图。

    

 

     

 

 每一个虚线箭头表示回表一次。 第一个图中在(name,age)索引里面特意去掉了age的值,这个过程InnoDB并不会去看age的值, 只是按顺序把“name第一个字是’张’”的记录一条条取

出来回表。因此,需要回表4次。 这两个图的区别是,InnoDB在(name, age)索引内部就判断了age是否等于10,对于不等于10的记录,直接判断并跳过

这个例子中,只需要对 ID4、ID5这两条记录回表取数据判断,就只需要回表2次。

 

CREATE TABLE `geek` (
    `a` int(11) NOT NULL,
    `b` int(11) NOT NULL,
    `c` int(11) NOT NULL,
    `d` int(11) NOT NULL,
    PRIMARY KEY (`a`,`b`),
    KEY `c` (`c`),
    KEY `ca` (`c`,`a`),
    KEY `cb` (`c`,`b`)
) ENGINE=InnoDB;
由于历史原因,这个表需要a、b做联合主键; 既然主键包含了a、b这两个字段,那意味着单独在字段c上创建一个索引,就已经包含了三个字段了呀,为什么要创建“ca” “cb”这两个索引? 是因为有下面的业务:
select * from geek where c=N order by a limit 1; select * from geek where c=N order by b limit 1; 为了这两个查询模式,这两个索引是否都是必须的?为什么呢?

 

表记录
–a--|–b--|–c--|–d--
1 2 3 d
1 3 2 d
1 4 3 d
2 1 3 d
2 2 2 d
2 3 4 d
主键 a,b的聚簇索引组织顺序相当于 order bya,b ,也就是先按a排序,再按b排序,c无序。
索引 ca 的组织是先按c排序,再按a排序,同时记录主键 –c
--|–a--|–主键部分b-- (注意,这里不是ab,而是只有b) 2 1 3 2 2 2 3 1 2 3 1 4 3 2 1 4 2 3 这个跟索引c的数据是一模一样的。
索引 cb 的组织是先按c排序,在按b排序,同时记录主键 –c
--|–b--|–主键部分a-- (同上) 2 2 2 2 3 1 3 1 2 3 2 1 3 4 1 4 3 2 所以,结论是ca可以去掉,cb需要保留。

 

posted @ 2021-05-26 23:08  kris12  阅读(91)  评论(0编辑  收藏  举报
levels of contents