服务器问题 排查思路

服务器常见问题排查思路

服务器问题 排查思路

一.尽可能搞清楚问题的前因后果

1.故障是什么时候发现的？   
2.故障的表现是什么？无响应？报错？
3.最后一次对整个平台进行更新的内容是什么（代码、服务器等）

二.当前有谁在，做过什么操作

1.  w/who   
2. last
3. history

三.现在运行的进程有什么

1. pstree -a              //以树状图显示进程间的关系
2. ps -aux
3. netstat  -n -o -a |grep 443 |wc -l     查看各端口连接数 
   netstat  -n -o -a |grep 80 |wc -l
4.netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'     查看http的进程数

四.监听的网络服务

1.  netstat -nalp     
2.netstat -ntlp
3.netstat -nulp
  -n或--numeric 直接使用IP地址，而不通过域名服务器。
  -a或--all 显示所有连线中的Socket。
  -l或--listening 显示监控中的服务器的Socket。
  -p或--programs 显示正在使用Socket的程序识别码和程序名称。
  -t或--tcp 显示TCP传输协议的连线状况。
  -u或--udp 显示UDP传输协议的连线状况。

五. 内存 CPU 磁盘空间
1.内存
(1) free -m

第一行 :    内存总数   已使用内存数   空闲内存数  废弃内存数   缓存内存数     缓存内存数
第二行:    
- buffers/cache:  已使用内存数 (指的第一行中的used – buffers – cached)
+ buffers/cache:  空闲内存数(指的第一行中的free + buffers + cached)       
第三行: 指交换分区
Linux的Swap类似于Windows的虚拟内存,就是把一部分硬盘空间虚拟成内存使用,用来解决内存容量不足的问题。如果有使用到Swap，说明服务器该升级配置了。

2.CPU
(1)uptime

系统时间  系统运行时间  已登录用户的数量  系统的平均负载量:  过去一分钟  五分钟 十五分钟
 注:有一种说法,当load avarage <3 系统良好，大于5 则有严重的性能问题

(2)top

第一行同uptime

第二行为进程的信息
总进程数  正在运行的进程数   睡眠进程数    停止进程数   僵尸进程数

第三行为CPU信息   
us: 用户空间占用CPU百分比       
sy  内核空间占用CPU百分比
ni  用户进程空间内改变过优先级的进程占用CPU百分比
id  空闲CPU百分比           //比较重要
wa  等待输入输出的CPU时间百分比       

第四、五行为内存信息 

Mem  :  8169876  k  total  ,  7686472  k  used  ,  483404  k  free  ,  35272  k  buffers
物理内存总量       使用的物理内存总量    空闲内存总量         用作内核缓存的内存量

Swap  :  4096532  k  total  ,  160  k  used  ,  4096372  k  free  ,  2477532  k  cached
交换分区总量        使用的交换区总量       空闲交换区总量      缓冲的交换区总量

3.磁盘空间
 (1) df   -h       显示目前在Linux系统上的文件系统的磁盘使用情况统计

文件系统的名称   总内存   使用中的内存   可使用的内存    使用的内存占总内存的百分比  挂载点
 (2) du  -sh*     查看当前文件夹下所有目录大小

六.io性能/

1.iotop         

​ 读取速度 写入速度

2. dstat --top-mem --top-io --top-cpu           查看当前占用内存、io、CPU最高的进程信息

一、解决500错误：
1、500错误指的是服务器内部错误，也就是服务器遇到意外情况，而无法履行请求。
2、500错误一般有几种情况：
（1）web脚本错误，如php语法错误，lua语法错误等。
（2）访问量大的时候，由于系统资源限制，而不能打开过多的文件
3、一般分析思路：
（1）查看nginx error log ，查看php error log
（2）如果是too many open files，修改nginx的worker_rlimit_nofile参数，使用ulimit查看系统打开文件限制，修改/etc/security/limits.conf
（3）如果是脚本的问题，则需要修复脚本错误，并优化代码
（4）各种优化都做好，还是出现too many open files，那就要考虑做负载均衡，把流量分散到不同服务器上去了

二、解决502，504错误
1、使用nginx代理，而后端服务器发生故障；或者php-cgi进程数不够用；php执行时间长，或者是php-cgi进程死掉；已经fastCGI使用情况等都会导致502、504。
2、502 是指请求的php-fpm已经执行，但是由于某种原因而没有执行完毕，最终导致php-fpm进程终止。
一般来说，与php-fpm.conf的设置有关，也与php的执行程序性能有关，网站的访问量大，而php-cgi的进程数偏少。针对这种情况的502错误，只需增加php-cgi的进程数。
具体就是修改/usr/local/php/etc/php-fpm.conf文件，将其中的max_children值适当增加。
这个数据要依据你的VPS或独立服务器的配置进行设置。一般一个php-cgi进程占20M内存，你可以自己计算下，适量增多。
/etc/init.d/php-fpm restart 然后重启一下.
3、504 表示超时，也就是客户端所发出的请求没有到达网关，请求没有到可以执行的php-fpm。与nginx.conf的配置也有关系。