mysql底层工作原理

以下是Mysql结构示意图：

此图是我在网上摘录下来的 。上面的图是Mysql内部架构。

1、connectors(连接)

　　是mysql最顶层，与其它语言进行交互相连，例如：Python  php  java

　　最上层是一些客户端和连接服务，包含本地的sock通信和大多数基于客户端/服务端工具实现的类似于tcp/ip的通信，主要完成一些类似于连接处理、授权认证及相关的安全方案，在该层上引用了线程池的概念，为通过认证安全接入的客户端提供线程。同样在该层上可以实现基于ssl的安全链接。服务器也会为安全接入的每个客户端验证它所具有的操作权限。

2、Connection Pool(连接池)

       程序与mysql的 connectors交互请求到暂存在连接池

      第二层架构主要完成大多数的核心服务功能。如sql接口，并完成缓存的查询。sql的分析和优化 以及部分内置函数的执行。所有跨存储引擎的功能也在这一层实现，如过程，函数等。在该层，服务器会解析查询并创建相应的内部解析树，并对其完成相应的优化如确定查询表的顺序，是否利用索引等。最后生成相应的执行操作。如select语句，服务器还会查询内部的缓存。如果缓存空间足够大，这样就解决大量读操作的环境中能够很好的提升系统的性能。

3、Managerment Services & Utilities(系统管理和控制工具)

       系统管理工具会进行 管理连接池

        一、SQL Interface(SQL接口)

               接受用户的sql命令，并返回用户需要查询的结果

        二、Parser（解析器）

               SQL命令传递到解析器的时候会被解析器验证和解析

               主要功能： 
　　　　　　　　a . 将SQL语句分解成数据结构，并将这个结构传递到后续步骤，后面SQL语句的传递和处理就是基于这个结构的 
　　　　　　　　b. 如果在分解构成中遇到错误，那么就说明这个sql语句是不合理的，语句将不会继续执行下去

          三、Optimizer（优化器）

                SQL语句在查询之前会使用查询优化器进行优化（产生多种执行计划,最终数据库会选择最优化的方案去执行,尽快返会结果）

                使用的是 “选取--投影--联接” 策略进行查询

                例：select uid,name from user where gender = 1; 
　　　　　　这个select 查询先根据where 语句进行选取，而不是先将表全部查询出来以后再进行gender过滤 
　　　　　　这个select查询先根据uid和name进行属性投影，而不是将属性全部取出以后再进行过滤 
　　　　　　将这两个查询条件联接起来生成最终查询结果.

　　　四、 Cache 和 Buffer（查询缓存）

                  如果查询缓存有命中的查询结果，查询语句可以直接去查询缓存中取数据（这个缓存机制是由一系列小缓存成，表缓存、记录缓存、key缓存、权限缓存）

4、 Engine(存储引擎)

        存储引擎是 Mysql中与文件打交道的子系统，Mysql的存储引擎是插件式的

　　存储引擎真正的负责MySQL中数据的存储和提取，服务器通过API与存储引擎进行通信，不同的存储引擎具有的功能不同，这样我们可以根据自己的实际需进行选取。

 

4、数据存储层

    主要是将数据存储在运行于裸设备的文件系统之上，并完成于存储引擎的交互

+———————————————————————————–+-

 

以上执行步骤可以用以下文字进行概括为：

    首先程序会请求通过请求mysql的connectors进行交互，请求到后会暂时存放在连接池(connection pool)中并由处理器（Management Serveices&Utilities）管理，当该请求从等待对列进入到处理队列，管理器会将该请求丢给sql接口(SQL Inerface)，SQL接口接收到请求后，会将请求进行hash处理并与缓存中的结果进行对比，如果完全匹配则通过缓存直接返回处理结果，否则完整的走一趟流程：

    （1） 由SQL接口丢给后面的解释器(Parser)，解释器会判断SQL语句正确与否，若正确则将其转化为数据结构。

    （2）解释器处理完之后，便 来后后面的优化器(Optimizer)，它会产生多种执行计划，最终数据库会选择最优化的方案去执 行，尽快返回结果。

    （3） 确定执行计划后，SQL语句此时便可以交由存储引擎(Engine) 处理，存储引擎将会到后端的存储设备中取得相应的数据，并原路返回给程序

           需要注意：

              （1） 如何进行缓存查询数据？

                     存储引擎处理完数据，并将其返回给程序的同时，它还会将一份数据保留在缓存中，以便 更快速的上理下一次相同的请求，具体情况是，mysql会将查询的语句、执行结果进行hash，并保留在Cache中，等待下次查，

             （2） buffer与cache的区别：

                        从上图可以看到，缓存那里实际上有Buffer和cache两个，buffer是写缓存，cacher是读缓存

             （3）如何判断缓存中是否是已缓存需要的数据

                   这里有个误区，觉得处理SQL语句的时候，为了判断是否已缓存查询结果，会将整个流程走一遍，取得执行结果后与需要的进行对比，看看是否命中，并以此说，既然不管缓存是有没缓存到查内容，都要走一遍，那么缓存的优势又在哪里？？

                 实际上，并非如此，在第一次查询后，mysql便 将查询语句以及查询结果进行hash处理并保留在缓存中，sql查询到达之后，对其进行同样的hash处理后，将两个hash值进行对照，如果一样，则命中，从缓存中返回查询结果，否则，需要整个流程走一遍。

 

一、并发控制和锁的概念

   当数据库中有多个操作需要修改同一数据时，不可避免的会产生数据的脏读。这时就需要数据库具有良好的并发控制能力，这一切在MySQL中都是由服务器和存储引擎来实现的，具体如下： 

         解决并发问题最有效的方案是引入了锁的机制，锁在功能上分为共享锁(shared lock)和排它锁(exclusive lock)即通常说的读锁和写锁。当一个select语句在执行时可以施加读锁，这样就可以允许其它的select操作进行，因为在这个过程中数据信息是不会被改变的这样就能够提高数据库的运行效率。当需要对数据更新时，就需要施加写锁了，不在允许其它的操作进行，以免产生数据的脏读和幻读。锁同样有粒度大小，有表级锁(table lock)和行级锁(row lock)，分别在数据操作的过程中完成行的锁定和表的锁定。这些根据不同的存储引擎所具有的特性也是不一样的。 
MySQL大多数事务型的存储引擎都不是简单的行级锁，基于性能的考虑，他们一般都同时实现了多版本并发控制(MVCC)。这一方案也被Oracle等主流的关系数据库采用。它是通过保存数据中某个时间点的快照来实现的，这样就保证了每个事务看到的数据都是一致的