Mysql异常问题排查与处理——mysql的DNS反向解析和客户端网卡重启
中午刚想趴一会，不料锅从天降！！！Mysql连不上了。。。。。。。
现象如下：
现象1：登录mysql所在服务器，连接MySQL 成功；
现象2：通过客户端远程连接MySQL，返回失败，如下：
Enter password: ERROR 2003 (HY000): Can't connect to MySQL server on 'xxx' (111)
现象三：通过某些客户端可以连，就是响应极慢。
现象四：通过客户端可以ping通，但是telnet 数据库端口失败。且无论ping还是telnet，数据库服务器均收不到数据包。
客户端： tcpdump -nn -i eth0 icmp 和 执行ping 服务端ip的操作 服务端： tcpdump -i br0 -nn icmp and host 客户端ip
现象五：show processlist 有好多unauthenticated user的用户（参考参考连接所述）
mysql> show processlist; +-----+----------------------+---------------------+---------------------+---------+------+-------+------------------+ | Id | User | Host | db | Command | Time | State | Info | +-----+----------------------+---------------------+---------------------+---------+------+-------+------------------+ | 2 | root | 192.168.1.60:43961 | xxx | Sleep | 39 | | NULL | | 7 | root | 192.168.1.34:41155 | xxx | Sleep | 7 | | NULL | | 30 | root | 192.168.20.7:38282 | xxx | Sleep | 6 | | NULL | | 44 | root | 192.168.20.7:38308 | xxx | Sleep | 6 | | NULL | | 106 | root | 10.88.9.23:61181 | NULL | Sleep | 19 | | NULL | | 110 | unauthenticated user | 10.88.128.22:38648 | NULL | Connect | NULL | login | NULL | | 111 | unauthenticated user | 10.88.10.185:57430 | NULL | Connect | NULL | login | NULL | | 112 | unauthenticated user | 10.88.11.196:56473 | NULL | Connect | NULL | login | NULL | | 113 | unauthenticated user | 10.88.128.22:38650 | NULL | Connect | NULL | login | NULL | | 114 | unauthenticated user | 10.88.10.185:57439 | NULL | Connect | NULL | login | NULL | | 115 | unauthenticated user | 10.88.128.117:58555 | NULL | Connect | NULL | login | NULL | | 116 | unauthenticated user | 10.88.128.22:38653 | NULL | Connect | NULL | login | NULL | | 117 | unauthenticated user | 10.88.10.185:57444 | NULL | Connect | NULL | login | NULL | | 118 | unauthenticated user | 10.88.128.22:38655 | NULL | Connect | NULL | login | NULL | | 119 | unauthenticated user | 10.88.128.22:38657 | NULL | Connect | NULL | login | NULL | | 120 | unauthenticated user | 10.88.10.185:57453 | NULL | Connect | NULL | login | NULL | | 122 | unauthenticated user | 10.88.128.22:38659 | NULL | Connect | NULL | login | NULL | | 123 | unauthenticated user | 10.88.128.22:38661 | NULL | Connect | NULL | login | NULL | | 124 | unauthenticated user | 10.88.10.185:57458 | NULL | Connect | NULL | login | NULL | | 125 | unauthenticated user | 192.168.20.45:47091 | NULL | Connect | NULL | login | NULL | | 126 | unauthenticated user | 192.168.20.45:47092 | NULL | Connect | NULL | login | NULL | | 127 | unauthenticated user | 192.168.20.45:47093 | NULL | Connect | NULL | login | NULL | | 128 | root | localhost | NULL | Query | 0 | NULL | show processlist | | 129 | unauthenticated user | 10.88.128.22:38664 | NULL | Connect | NULL | login | NULL | +-----+----------------------+---------------------+---------------------+---------+------+-------+------------------+ 24 rows in set (0.01 sec)
问题解决办法：
第一步：修改mysql的my.conf配置文件，在[mysqld]模块下增加，停止mysql的域名反向解析。之后重启数据库，此项解决大多数问题
skip-name-resolve
第二步： 重启客户端的网卡，再次连接mysql，搞定剩下的一小部分问题。
#service network restart Shutting down interface eth0: [ OK ] Shutting down loopback interface: [ OK ] Bringing up loopback interface: [ OK ] Bringing up interface eth0: Determining if ip address 10.88.128.66 is already in use for device eth0... [ OK ]
结论
1. 针对MySQL的对连接的客户端进行DNS反向解析的处理，暂不晓得本质原因。网上暂没有搜到本质信息。参考【参考连接】
2. 网卡的问题，网管怀疑客户端的网卡自娱自乐了。。。。ping的时候压根没有走到目的地就返回了
【参考连接】：https://segmentfault.com/a/1190000002682272
今天早上开发那边发现mysql连接很慢，登陆到服务器上查看服务器日志都是正常的，无可疑记录，刚刚还好好的，怎么突然出现这个问题，于是登陆到mysql服务器上，查看下进程，发现有很多这样的连接： 218 | unauthenticated user | 192.168.10.6:44500 | NULL | Connect | NULL | login | NULL 219 | unauthenticated user | 192.168.10.6:44501 | NULL | Connect | NULL | login | NULL ........ 放狗，放狗。。。 原因是由于mysql对连接的客户端进行DNS反向解析。 有2种解决办法： 1，把client的ip写在mysql服务器的/etc/hosts文件里，随便给个名字就可以了。 2，在 my.cnf 中加入 –skip-name-resolve 。 对于第一种方法比较笨，也不实用，那么 skip-name-resolve 选项可以禁用dns解析，但是，这样不能在mysql的授权表中使用主机名了，只能使用IP。 我理解mysql是这样来处理客户端解析过程的， 1，当mysql的client连过来的时候，服务器会主动去查client的域名。 2，首先查找 /etc/hosts 文件，搜索域名和IP的对应关系。 3，如果hosts文件没有，则查找DNS设置，如果没有设置DNS服务器，会立刻返回失败，就相当于mysql设置了skip-name-resolve参数，如果设置了DNS服务器，就进行反向解析，直到timeout。 有一点不明白，为什么连接mysql服务器内网的ip地址也要进行DNS反向解析，而这时候DNS解析返回给mysql的是什么呢？ 望高手解答。
如有错误，还请各位数据库大神不吝赐教。
谢谢
