随笔分类 -  Linux故障集

记一次 Ubuntu 内核升级故障处理
摘要：文章链接 情况介绍 负责的项目下有一批 ubuntu 18.04 的服务器在 AWS 上，因为安全的问题，需要把内核从 5.3.0 升级到 5.4.0。 首次升级为测试环境测两台都是ubuntu 18.04 的版本 内核也都为5.3.0。第一台升级进展很顺利。软件更新，然后内核进行单独升级。等到需要 阅读全文
posted @ 2021-09-29 13:38 SRE运维博客 阅读(537) 评论(0) 推荐(0)
Jenkins 构建JOB失败
摘要： Jenkins构建JOB拉去代码失败 error:index-pack died of signal 15 阅读全文
posted @ 2021-02-05 17:24 SRE运维博客 阅读(1084) 评论(0) 推荐(0)
数据库CPU 100%处理记录
摘要：问题描述 2020年7月13日一大早收到告警，测试环境数据库CPU告警。 登录aws查看监控如下图 问题分析 出现这种cpu 100%的问题，都是因为sql性能问题导致的， 主要表现于 cpu 消耗过大，有慢sql造成、慢sql全表扫描，扫描数据库过大，内存排序，队列等等 并发现写入相对于查询来说比 阅读全文
posted @ 2020-07-14 11:45 SRE运维博客 阅读(1635) 评论(0) 推荐(0)
ubuntu18启动zabbix-agent失败/故障记录
摘要：故障现象 ubuntu 16 升级18 之后 安装了zabbix agent 今天突然agent掉了 上去的时候发现 报错： 后来打算-c 启动然后发现 /usr/sbin/zabbix_agentd 丢了 解决方法 我尝试着去检查selinux，防火墙，安全组，以及zabbix-agent配置文件 阅读全文
posted @ 2020-06-19 10:31 SRE运维博客 阅读(1228) 评论(0) 推荐(0)
记一次服务被黑处理过程
摘要：简单描述 今天早上收到老大发的一封邮件 说一台服务器被攻击了 邮件内容展示下 = - = 简单的介绍下服务器的用途 这台服务器的IP地址原本是客户测试BGP用的一个地址，客户测试的时候曾经遭受过攻击，后来客户测试结束 我们就用做监控系统(smokeping)用了 处理过程 登陆服务器之后先确认流量收 阅读全文
posted @ 2020-06-12 11:35 SRE运维博客 阅读(554) 评论(0) 推荐(0)
证书链过期导致大部分服务不可用
摘要：故障描述 在我们的生产环境中，我们制作了一个健康检查页面，并通过脚本去监控他的健康状态，可是在前天（2020-5-30 周六）下午 18:50 左右的时候收到告警健康检查页面故障，等我登录服务器排查故障的时候发现是curl命令报错，报错的内容为： [root@ip-10-0-10-100 ~]# c 阅读全文
posted @ 2020-06-03 09:31 SRE运维博客 阅读(1300) 评论(0) 推荐(0)
Grafana 插件地图Worldmap不显示
摘要：作者：SRE运维博客 博客地址： https://www.cnsre.cn/ 文章地址：https://www.cnsre.cn/posts/210426026121/ 相关话题：https://www.cnsre.cn/tags/grafana/ 介绍 最近上了ELK 日志分析，想着手看下用户的分 阅读全文
posted @ 2020-05-21 11:13 SRE运维博客 阅读(3992) 评论(3) 推荐(1)
Pipeline 脚本调用 mvn 命令失败
摘要：问题描述 jenkins构建job时 提示mvn 未找到命令 + export JAVA_HOME=/home/tools/jdk1.8.0_221 + JAVA_HOME=/home/tools/jdk1.8.0_221 + mvn clean package -Dmaven.test.skip= 阅读全文
posted @ 2020-05-19 09:17 SRE运维博客 阅读(1659) 评论(0) 推荐(0)
zabbix 中文乱码
摘要：环境 zabbix 3.4.7 centos 7.4 问题现象 zabbix 中文乱码 解决方法 1.先准备一个字体包 Windows路径 C:\Windows\Fonts\simkai.ttf 2.上传字体包 上传至 cd /usr/share/zabbix/fonts/ 3.切换到字体目录然后w 阅读全文
posted @ 2020-05-13 13:17 SRE运维博客 阅读(175) 评论(0) 推荐(0)
Cacti断图、大量报错故障
摘要：一、Cacti日志出现大量错误 最近查看Cacti日志，出现大量红色告警，并且每五分钟出现1次，虽然不影响流量的查看，但是肯定会有问题。 错误日志如下 ERROR: A DB Exec Failed!, Error:'145', SQL:"INSERT INTO `cacti`.`syslog_ho 阅读全文
posted @ 2020-04-30 13:18 SRE运维博客 阅读(1619) 评论(0) 推荐(0)
zabbix 大流量断图
摘要：一. 环境介绍 系统版本：Centos7.4 zabbix-agent 版本：zabbix-agent 3.4.7 二. 问题现象 在使用zabbix的snmp方式的监控端口流量时，某一个图总是断断续续的(被监控设备有较大的端口流量)，经常会出现几分钟内没有图像的问题。 原因分析 这是因为item中 阅读全文
posted @ 2020-04-30 11:29 SRE运维博客 阅读(2921) 评论(0) 推荐(0)
linux 删除文件后 df 查看磁盘空间并没有释放
摘要：1、错误现象 Linux 磁盘空间总是报警，查到到大文件，删除之后，df看到磁盘空间并没有释放。 用du -sh ./* | sort -nr （查看当前目录下文件的大小）通过查找了下发现文件被mysql 的zabbix库占用了 zabbix 已经迁移可以删除 rm 删除之后df查看 发现磁盘空间并 阅读全文
posted @ 2020-04-30 10:18 SRE运维博客 阅读(992) 评论(0) 推荐(0)
记 Centos zabbix-agent启动失败解决思路
摘要：一. 环境介绍 系统版本：Centos7.4 zabbix-agent 版本：zabbix-agent 3.4.7 二. 问题现象 启动zabbix-agent时启动失败 查看zabbix-agent的时候显示没有正常运行 三. 处理故障过程思路 查看zabbix-agent显示以下内容 根据提示， 阅读全文
posted @ 2020-04-29 14:22 SRE运维博客 阅读(4930) 评论(0) 推荐(1)
zabbix3.2升级3.4报错Database error
摘要：摘要： zabbix3.2版本升级到zabbix3.4版本后打开页面报错，报错内容如下 Database errorThe frontend does not match Zabbix database. Current database version (mandatory/optional): 阅读全文
posted @ 2020-04-29 11:19 SRE运维博客 阅读(907) 评论(0) 推荐(0)