MySQL缓存之Qcache与buffer pool对比

Q:innodb buffer pool和Qcache的缓存区别?

A:

  1、Qcacche缓存的是SQL语句及对应的结果集,缓存在内存,最简单的情况是SQL一直不重复,那Qcache的命令率肯定是0;

  2、buffer pool中缓存的是整张表中的数据,缓存在内存,SQL再变只要数据都在内存,那么命中率就是100%。

 

一、查询缓存(QueryCache)

1、关于查询缓存机制

  开启了缓存,会自动将查询语句和结果集返回到内存,下次再查直接从内存中取;

  查询缓存会跟踪系统中每张表,若表发生变化,则和该张表相关的所有查询缓存全部失效,这是和buffer pool缓存机制很大的区别;

  检查查询缓存时,MYSQL不会对SQL做任何处理,它精确的使用客户端传来的查询,只要字符大小写或注释有点不同,查询缓存就认为是不同的查询;

  任何一个包含不确定的函数(比如now()、curren_date())的查询不会被缓存。

注意:

  查询缓存可改善性能,但是开启查询缓存对读写增加了额外开销。

  1、对于读,在查询前需先检查缓存;

  2、对于写,写入后需更新缓存。

  一般情况下这些开销相对较小,因此需要根据业务权衡是否开启查询缓存。

2、Qcache参数

mysql> show variables like '%query_cache%';
+------------------------------+---------+
| Variable_name                | Value   |
+------------------------------+---------+
| have_query_cache             | YES     |
| query_cache_limit            | 1048576 |
| query_cache_min_res_unit     | 4096    |
| query_cache_size             | 1048576 |
| query_cache_type             | OFF     |
| query_cache_wlock_invalidate | OFF     |
+------------------------------+---------+

参数解析:

  1、have_query_cache:该MySQL是否支持Query Cache;

  2、query_cache_limit:缓存块大小,超过该大小不会被缓存

  3、query_cache_min_res_unit:每个qcache最小的缓存空间大小

  4、query_cache_size:分配给查询缓存的总内存

  5、query_cache_type:是否开启查询缓存

  6、query_cache_wlock_invalidate:控制当有锁加在表上的时候,是否先让该表相关的 Query Cache失效

3、配置查询缓存:在配置文件中修改如下参数

  query_cache_type = on  #开启查询缓存

  query_cache_size = 200M  #分配给查询缓存的总内存,一般建议不超过256M

  query_cache_limit = 1M  #限制MySQL存储的最大结果;如果查询的结果比limit大,那么就不会被缓存。

4、监控Qcache使用情况

mysql> show status like 'qcache%'; 
+-------------------------+---------+
| Variable_name           | Value   |
+-------------------------+---------+
| Qcache_free_blocks      | 1       |
| Qcache_free_memory      | 1031832 |
| Qcache_hits             | 0       |
| Qcache_inserts          | 0       |
| Qcache_lowmem_prunes    | 0       |
| Qcache_not_cached       | 5476    |
| Qcache_queries_in_cache | 0       |
| Qcache_total_blocks     | 1       |
+-------------------------+---------+

解析:

  1、Qcache_free_blocks :Query Cache中目前还有多少剩余的blocks。如果该值显示较大,则说明Query Cache中的内存碎片较多了,可能需要寻找合适的机会进行整理。处理办法:mysql> FLUSH QUERY CACHE;清理查询缓存碎片以提高内存使用性能。(该语句不从缓存中移出任何查询)

  2、Qcache_free_memory:Query Cache 中目前剩余的内存大小

  3、Qcache_hits:缓存命中次数

  4、Qcache_inserts:多少次未命中然后插入

Query Cache命中率 = Qcache_hits /(Qcache_hits + Qcache_inserts)

  5、Qcache_lowmem_prunes:多少条Query 因为内存不足而被清除出Query

  6、Qcache_not_cached:因为query_cache_type的设置off或者不能被cache的Query的数量

  7、Qcache_queries_in_cache:当前Query Cache中cache的Query数量

  8、Qcache_total_blocks:当前Query Cache中的block数量

注:

  命中率低,说明没从内存中取,还是从磁盘取,则多走了一步。看是否sql老变还是什么问题;

  Qcache_not_cached 数值大,开启了查询缓存没有缓存的数据则说明设置缓存的大小太小了,好多无法缓存。

 

二、存储引擎层-innodb buffer pool

  buffer pool是innodb存储引擎带的一个缓存池,查询数据的时候,它首先会从内存中查询,如果内存中存在的话,直接返回,从而提高查询响应时间。Buffer pool是设置的越大越好,一般设置为服务器物理内存的70%。

1、Innodb_buffer_pool参数

mysql> show variables like '%innodb_buffer_pool%';
+-------------------------------------+----------------+
| Variable_name                       | Value          |
+-------------------------------------+----------------+
| innodb_buffer_pool_chunk_size       | 134217728      |
| innodb_buffer_pool_dump_at_shutdown | ON             |
| innodb_buffer_pool_dump_now         | OFF            |
| innodb_buffer_pool_dump_pct         | 25             |
| innodb_buffer_pool_filename         | ib_buffer_pool |
| innodb_buffer_pool_instances        | 1              |
| innodb_buffer_pool_load_abort       | OFF            |
| innodb_buffer_pool_load_at_startup  | ON             |
| innodb_buffer_pool_load_now         | OFF            |
| innodb_buffer_pool_size             | 134217728      |
+-------------------------------------+----------------+

参数解析:

  1、innodb_buffer_pool_size:Innodb_buffer_pool的大小

  2、innodb_buffer_pool_filename :热数据文件名称

  3、innodb_buffer_pool_dump_now:默认是OFF;如果开启则立刻InnoDB将InnoDB缓冲池中的热数据保存到本地硬盘。(组合innodb_buffer_pool_load_now使用)

  4、innodb_buffer_pool_load_now:默认是OFF;如果开启则立刻通过加载数据页预热innodb缓冲池。

  5、innodb_buffer_pool_load_at_startup:默认是OFF;如果开启该参数,启动MySQL服务时,MySQL将本地热数据加载到InnoDB缓冲池中。

  6、innodb_buffer_pool_dump_at_shutdown:默认是OFF;如果开启该参数,停止mysq服务时是否自动保存InnoDB buffer pool中热数据。

Q:如何快速重启使用数据库---Preloading the InnoDB Buffer Pool for Faster Restart

A:

  开启innodb_buffer_pool_load_at_startup、innodb_buffer_pool_dump_at_shutdown参数。重启数据库,停止时保存热数据,启动时加载热数据到buffer pool。

2、Innodb_buffer_pool状态

mysql> show status like '%innodb_buffer_pool%';
+---------------------------------------+--------------------------------------------------+
| Variable_name                         | Value                                            |
+---------------------------------------+--------------------------------------------------+
| Innodb_buffer_pool_dump_status        | Dumping of buffer pool not started               |
| Innodb_buffer_pool_load_status        | Buffer pool(s) load completed at 170430  7:07:12 |
| Innodb_buffer_pool_resize_status      |                                                  |
| Innodb_buffer_pool_pages_data         | 241                                              |
| Innodb_buffer_pool_bytes_data         | 3948544                                          |
| Innodb_buffer_pool_pages_dirty        | 0                                                |
| Innodb_buffer_pool_bytes_dirty        | 0                                                |
| Innodb_buffer_pool_pages_flushed      | 176                                              |
| Innodb_buffer_pool_pages_free         | 7951                                             |
| Innodb_buffer_pool_pages_misc         | 0                                                |
| Innodb_buffer_pool_pages_total        | 8192                                             |
| Innodb_buffer_pool_read_ahead_rnd     | 0                                                |
| Innodb_buffer_pool_read_ahead         | 0                                                |
| Innodb_buffer_pool_read_ahead_evicted | 0                                                |
| Innodb_buffer_pool_read_requests      | 53710                                            |
| Innodb_buffer_pool_reads              | 201                                              |
| Innodb_buffer_pool_wait_free          | 0                                                |
| Innodb_buffer_pool_write_requests     | 45242                                            |
+---------------------------------------+--------------------------------------------------+

  Innodb_buffer_pool_read_requests  #逻辑读(缓存读)请求次数,也是读的请求次数

  Innodb_buffer_pool_reads  #从物理磁盘中获取到数据的次数

注:

  逻辑读就是从buffer pool的读,但是也会包含物理读,因为物理读也要是先将从disk中读取的数据放入buffer pool里,然后再进行逻辑读。所以:总的逻辑读也就是读的请求次数。

读的命中率=(Innodb_buffer_pool_read_requests- Innodb_buffer_pool_reads)/ Innodb_buffer_pool_read_requests

posted @ 2017-07-10 21:17 GeaoZhang 阅读(...) 评论(...) 编辑 收藏