摘要: 【问题现象】 开发同事反馈有应用在21:00-22:00之间出现大量超时报错。 【问题分析】 1、 从DB服务器慢查询指标来看,18:00后有大量的慢查询,累计产生了约9000条慢查询 2、 测试直接执行慢查询SQL语句,并没有发现性能问题 3、当时DBA同事在排障现场看到了线程执行时等待Writi 阅读全文
posted @ 2019-03-15 18:20 wangdong 阅读(3069) 评论(0) 推荐(0) 编辑
摘要: 为评估MySQL从5.6.21升级到5.7.23版本的性能,针对分区表的读写做了对比测试。 【测试环境】 1、 两台HP380的物理机,配置一致,CPU:Intel(R) Xeon(R) CPU E5-2650 v3 @ 2.30GHz,内存:128G,磁盘:2*300G,10K(1) 8*900G 阅读全文
posted @ 2019-03-14 18:14 wangdong 阅读(2597) 评论(0) 推荐(0) 编辑
摘要: 最近有一台CentOS 6.4的服务器发生多次crash,kernel version 是Linux 2.6.32-431.29.2.el6.x86_64。从vmcore-dmesg日志内容及crash工具解析vmcore文件来看,与已知bug比较匹配。 【分析过程】 1、查看vmcore-dmes 阅读全文
posted @ 2019-01-09 18:15 wangdong 阅读(1694) 评论(0) 推荐(0) 编辑
摘要: 【问题】 有同事反应最近有多台MongoDB的服务器CentOS 7.1系统会自动重启,分析了下问题原因。 【排查过程】 1、 检查系统日志/var/log/message,并没有记录异常信息,journalctl相关日志只记录发生过重启 2、 系统默认配置了kdump,使用crash工具分析/va 阅读全文
posted @ 2018-12-27 22:42 wangdong 阅读(10219) 评论(0) 推荐(0) 编辑
摘要: 【perf工具导致系统hang住的原因是触发了低版本kernel的bug】 今天在测试服务器做压测,运行perf record做性能分析时,系统再次hang住了,这次在系统日志中记录了一些有用的信息,如下 Dec 25 14:37:05 kernel: BUG: soft lockup - CPU# 阅读全文
posted @ 2018-12-25 15:49 wangdong 阅读(1173) 评论(0) 推荐(0) 编辑
摘要: 【背景】 有同事在研究mongo的服务启动方式,讨论到mysql5.7的服务管理时一起做了下面测试。 MySQL5.7是用systemd来管理service的,它的配置文件/usr/lib/systemd/system/mysqld@.service中,只定义了ExecStart启动服务器的命令, 阅读全文
posted @ 2018-12-17 17:35 wangdong 阅读(539) 评论(0) 推荐(0) 编辑
摘要: 【问题】 生产环境有多台slave服务器,不定期的会crash,下面是error log中的堆栈信息 Thread pointer: 0x7f1e54b26410 Attempting backtrace. You can use the following information to find 阅读全文
posted @ 2018-12-06 18:26 wangdong 阅读(2072) 评论(0) 推荐(1) 编辑
摘要: 【问题】 最近查看MySQL的error log文件时,发现有很多服务器的文件中有大量的如下日志,内容很长(大小在200K左右),从记录的内容看,并没有明显的异常信息。 有一台测试服务器也有类似的问题,为什么会记录这些信息,是谁记录的这些信息,分析的过程比较周折。 Status informatio 阅读全文
posted @ 2018-11-29 15:08 wangdong 阅读(537) 评论(0) 推荐(0) 编辑
摘要: 【可能的原因】 MySQL无法连接的原因有很多,比如: 1、数据库的请求量突增,实例连接数超过max_connections,或用户连接数超过max_user_connections, 这种情况连接时客户端一般会抛出对应的错误信息 如果max_connections打满,无法连到MySQL,可以尝试 阅读全文
posted @ 2018-11-26 13:40 wangdong 阅读(5540) 评论(0) 推荐(0) 编辑
摘要: 【问题二】 有一个集群(MySQL5.7.23)切换后复制slave报1236,其实是不小心在slave上执行了事务导致 Got fatal error 1236 from master when reading data from binary log: 'The slave is connect 阅读全文
posted @ 2018-11-23 16:30 wangdong 阅读(463) 评论(0) 推荐(0) 编辑