Mysql-slowlog
MySQL慢查询日志是MySQL提供的一种日志记录，用来记录执行时长超过指定时长的查询语句，具体指运行时间超过 long_query_time 值的 SQL 语句，则会被记录到慢查询日志中。
long_query_time 默认值是 10 ，单位是 s，即默认是 10秒 。默认情况下，MySQL数据库并不会开启慢查询日志，需要手动设置这个参数。
通过慢查询日志，可以查找出哪些查询语句的执行效率很低，以便进行优化。一般建议开启，它对服务器性能的影响微乎其微，但是可以记录MySQL服务器上执行了很长时间的查询语句。慢查询日志可以帮助我们定位mysql性能问题所在。
MySQL慢查询日志
慢查询日志相关参数
slow_query_log : 是否启用慢查询日志，[1 | 0] 或者 [ON | OFF]
slow_query_log_file : MySQL数据库（5.6及以上版本）慢查询日志存储路径。
可以不设置该参数，系统则会默认给一个缺省的文件 HOST_NAME-slow.log
long_query_time : 慢查询的阈值，当查询时间超过设定的阈值时，记录该SQL语句到慢查询日志。
log_queries_not_using_indexes ：设置为 ON ，可以捕获到所有未使用索引的SQL语句(不建议启用)
log_output : 日志存储方式。
log_output='FILE'，表示将日志存入文件，默认值是'FILE'。
log_output='TABLE'，表示将日志存入数据库，这样日志信息就会被写入到 mysql.slow_log 表中。
MySQL数据库支持同时两种日志存储方式，配置的时候以逗号隔开即可，如：log_output='FILE,TABLE'。
日志记录到系统的专用日志表中，要比记录到文件耗费更多的系统资源，因此对于需要启用慢查询日志，又需要能够获得更高的系统性能，那么建议优先记录到文件。
5.6之前的版本，有些参数名字不一样：
log-slow-queries : MySQL数据库（5.6以下版本）慢查询日志存储路径。
开启日志
立即生效，重启失效
mysql> set global slow_query_log=ON;
mysql> set global slow_query_log_file='/xxx/mysql-slow.log';
永久生效
修改 my.cnf ：
[mysqld]
slow_query_log = 1
slow_query_log_file = /xxx/mysql-slow.log
long_query_time = 1
# 也可以写成这种形式
slow-query-log = 1
slow-query-log-file = /xxx/mysql-slow.log
long-query-time = 1
重启mysql服务。
关闭日志
临时关闭，重启失效：
mysql> set global slow_query_log=OFF;
永久关闭，修改 my.cnf，重启mysql服务：
[mysqld]
slow_query_log = 0
MySQL慢查询日志分析
慢查询日志格式说明
打开慢查询日志 mysql-slow.log ，内容都是以下格式：
# Time: 2017-11-22T12:22:32.554299Z
# User@Host: www[www] @ [192.168.10.2] Id: 580785559
# Query_time: 24.354270 Lock_time: 0.000238 Rows_sent: 1 Rows_examined: 511156
SET timestamp=1511353352;
SELECT * FROM mo_user WHERE email = 'chxxx@hotmail.com' LIMIT 1;
其中参数说明如下：
- log 记录的时间：# Time: 2017-11-22T12:22:32.554299Z
- SQL 的执行主机：# User@Host: www[www] @ [192.168.10.2] Id: 580785559
- SQL 的执行信息（执行时间(单位：s)，锁时间，返回结果行数，查询总行数）：# Query_time: 24.354270 Lock_time: 0.000238 Rows_sent: 1 Rows_examined: 511156;
- SQL 执行发生的时间：SET timestamp=1511353352;
- SQL 的执行内容：SELECT * FROM mo_user WHERE email = 'chxxx@hotmail.com' LIMIT 1;
mysqldumpslow
mysqldumpslow 是MySQL自带的慢查询日志分析工具(perl脚本)。执行命令 mysqldumpslow --help，显示命令参数如下：
Usage: mysqldumpslow [ OPTS... ] [ LOGS... ]
Parse and summarize the MySQL slow query log. Options are
--verbose verbose
--debug debug
--help write this text to standard output
-v verbose
-d debug
-s ORDER what to sort by (al, at, ar, c, l, r, t), 'at' is default
al: average lock time
ar: average rows sent
at: average query time
c: count
l: lock time
r: rows sent
t: query time
-r reverse the sort order (largest last instead of first)
-t NUM just show the top n queries
-a don't abstract all numbers to N and strings to 'S'
-n NUM abstract numbers with at least n digits within names
-g PATTERN grep: only consider stmts that include this string
-h HOSTNAME hostname of db server for *-slow.log filename (can be wildcard),
default is '*', i.e. match all
-i NAME name of server instance (if using mysql.server startup script)
-l don't subtract lock time from total time
参数说明：
-
-v、--verbose : 在详细模式下运行，打印有关该程序的更多信息。
-
-d、--debug : 在调试模式下运行。
-
--help : 显示帮助信息并退出程序
-
-s [sort_type] : sort_type 是信息排序的依据
al：average lock time，按平均等待锁的时间排序
ar：average rows sent，按平均发给客户端的行总数排序
at：average query time，按平均查询时间排序
c：count，按出现总次数排序
l：lock time，按等待锁的时间排序
r：rows sent，按扫描的行总数排序
t：query time，按累计总耗费时间排序 -
-r : 倒序信息排序
-
-t NUM: 只显示前 n 个查询，降序
-
-a : 不把数字抽象为'N'，不把字符串抽象为'S'
-
-n NUM : 「abstract numbers with at least n digits within names」
-
-g PATTERN : 根据字符串筛选慢查询日志，可写正则匹配，大小写不敏感。
-
-h HOSTNAME : 根据服务器名称选择慢查询日志
-
-i NAME : 根据服务器 MySQL 实例名称选择慢查询日志
-
-l : 不要将总时间减去锁定时间
mysqldumpslow 分析的结果如下:
- Count : 出现次数(Count)
- Time : 执行最长时间(Time) 和 累计总耗费时间(Time)
- Lock : 等待锁的时间(Lock)
- Rows : 发送给客户端的行总数(Rows) 和 扫描的行总数(Rows)
- root[root]@localhost : 用户
- SHOw FULL ... : SQL语句本身(抽象了格式, 比如 limit 1, 20 用 limit N,N 表示。'N'表示数字，'S'表示字符串)。
例子:
返回记录数最多的10个SQL
mysqldumpslow -s r -t 10 mysql-slow.log
mysqlsla
mysqlsla是 hackmysql.com 推出的一款日志分析工具(该网站还维护了 mysqlreport, mysqlidxchk 等比较实用的mysql工具)
整体来说, 功能非常强大。数据报表,非常有利于分析慢查询的原因, 包括执行频率, 数据量, 查询消耗等。
但是，hackmysql.com官方已经在2015年1月份放弃了对mysqlsla的维护。
安装
解决依赖关系
# yum install perl-DBI perl-DBD-MySQL
可能会遇到的问题：Can't locate ExtUtils/MakeMaker.pm，解决如下：
# yum install perl-ExtUtils-CBuilder perl-ExtUtils-MakeMaker
可能会遇到的问题：Can't locate Time/HiRes.pm in @INC，解决如下：
# yum install perl-Time-HiRes
下载mysqlsla
当前 mysqlsla 的最新版本为 2.03，到官网下载（官方链接已经失效），可以去这个 有效下载地址 下载。
编译安装
# tar xvfz mysqlsla-2.03.tar.gz
# cd mysqlsla-2.03
# perl Makefile.PL
# make
# make install
使用
# mysqlsla -lt slow mysql-slow.log
或者
# mysqlsla -lt slow mysql-slow.log -sf "+SELECT" -db dbName -top 10 -sort t_sum
参数意义 ：
- -lt ：表示日志类型，有: slow, general, binary, msl, udl
- -sf ：[+-][TYPE]，包括|不包括，过滤sql语句的类型 [TYPE]有 SELECT, CREATE, DROP, UPDATE, INSERT，例如 "+SELECT,INSERT"，不出现的默认是 - ，即不包括。
- -db ：要处理哪个库的日志。
- -top ：表示取按规则排序的前多少条。
- -sort ：按某种规则排序，t_sum 按总时间排序， c_sum 按总次数排序。c_sum_p : sql语句执行次数占总执行次数的百分比。
对慢查询日志文件的分析，最简化的调用方式如下：
# mysqlsla -lt slow [SlowLogFilePath] > [ResultFilePath]
格式说明如下:
- 总查询次数 (queries total), 去重后的sql数量 (unique)
- 输出报表的内容排序方式(sorted by)
- 最重大的慢sql统计信息, 包括平均执行时间, 等待锁时间, 结果行的总数, 扫描的行总数。
- Count： sql的执行次数及占总的slow log数量的百分比.
- Time：执行时间, 包括总时间, 平均时间, 最小, 最大时间, 时间占总慢sql时间的百分比.
- 95% of Time：去除最快和最慢的sql, 覆盖率占95%的sql的执行时间.
- Lock Time：等待锁的时间.
- 95% of Lock ：95%的慢sql等待锁时间.
- Rows sent：结果行统计数量, 包括平均, 最小, 最大数量.
- Rows examined： 扫描的行数量.
- Database：属于哪个数据库
- Users：哪个用户,IP, 占到所有用户执行的sql百分比
- Query abstract：抽象后的sql语句
- Query sample：sql语句个例
pt-query-digest
percona-toolkit 工具介绍
percona-toolkit 是一组高级命令行工具的集合，用来执行各种通过手工执行非常复杂和麻烦的mysql和系统任务。这些任务包括：
- 检查master和slave数据的一致性
- 有效地对记录进行归档
- 查找重复的索引
- 对服务器信息进行汇总
- 分析来自日志和tcpdump的查询
- 当系统出问题的时候收集重要的系统信息
Percona Toolkit整个工具箱提供了非常多实用的工具，具体的使用方法可以参看 官方文档
percona-toolkit安装
安装 percona-toolkit 非常简单，到 官网 下载 .tar.gz 包：
# wget percona.com/get/percona-toolkit.tar.gz
# tar -zxvf percona-toolkit-2.2.5.tar.gz
然后依次执行下面的命令：
# perl Makefile.PL
# make
# make install
默认的会被安装在 /usr/local/bin 目录下。执行 man percona-toolkit 可以查看安装了哪些工具。
运行工具可能会遇到下面的错误：
这是因为缺少相应包，.pm包实际上是perl的包，运行下面的命令安装即可：
yum install -y perl-Time-HiRes
如果安装过程中出现 Error Downloading Packages 错误，尝试 yum clean all 后再安装。使用其Percona Toolkit中其他工具也可能会遇到类似的问题，按照提示安装相应的perl包就可以了。
问题：Can't locate Digest/MD5.pm in @INC
解决：# yum install perl-Digest-MD5
问题：Can't locate ExtUtils/MakeMaker.pm in @INC
解决：# yum install perl-ExtUtils-CBuilder perl-ExtUtils-MakeMaker
pt-query-digest使用
pt-query-digest 可以从普通MySQL日志，慢查询日志以及二进制日志中分析查询，甚至可以从 SHOW PROCESSLIST; 和MySQL协议的tcpdump中进行分析，如果没有指定文件，它从标准输入流（STDIN）中读取数据。
最简单的用法如下：
# pt-query-digest mysql-slow.log
输出信息大致如下:
整个输出分为三大部分：
整体概要（Overall）
这个部分是一个大致的概要信息(类似loadrunner给出的概要信息)，通过它可以对当前MySQL的查询性能做一个初步的评估，比如各个指标的最大值(max)，平均值(min)，95%分布值，中位数(median)，标准偏差(stddev)。
这些指标有查询的执行时间（Exec time），锁占用的时间（Lock time），MySQL执行器需要检查的行数（Rows examine），最后返回给客户端的行数（Rows sent），查询的大小。
查询的汇总信息（Profile）
这个部分对所有 "重要" 的查询(通常是比较慢的查询)做了个一览表:
每个查询都有一个Query ID，这个ID通过Hash计算出来的。pt-query-digest 是根据这个所谓的Fingerprint来group by的。举例下面两个查询的Fingerprint是一样的都是 select * from table1 where column1 = ?，工具箱中也有一个与之相关的工具 pt-fingerprint。
select * from table1 where column1 = 2
select * from table1 where column1 = 3
- Rank整个分析中该“语句”的排名，一般也就是性能最常的。
- Response time “语句”的响应时间以及整体占比情况。
- Calls 该“语句”的执行次数。
- R/Call 每次执行的平均响应时间。
- V/M 响应时间的差异平均对比率。
在尾部有一行输出，显示了其他2个占比较低而不值得单独显示的查询的统计数据。
详细信息
这个部分会列出Profile表中每个查询的详细信息：（默认是按照总的Exec time排序，降序）
包括Overall中有的信息、查询响应时间的分布情况以及该查询 "入榜" 的理由，最底下会显示该查询SQL语句（真实显示，非抽象格式）。
pt-query-digest 还有很多复杂的操作，这里就不一一介绍了。比如：从PROCESSLIST中查询某个MySQL中最慢的查询：
# pt-query-digest –processlist h=host1
从tcpdump中分析：
# tcpdump -s 65535 -x -nn -q -tttt -i any -c 1000 port 3306 > mysql.tcp.txt
# pt-query-digest --type tcpdump mysql.tcp.txt
从一台机器上将 slow log 保存到另外一台机器上待稍后详细分析：
# pt-query-digest --review h=host2 --no-report slow.log
还可以跟一些过滤条件。详见 官方文档
另外结合一些第三方工具还能生成相应的报表，可以 参考这里
建议 ：当 slow log 很大的时候最好还是将日志文件移到其他机器上进行分析，避免分析时过度消耗该服务器资源。
