自动化服务器巡检的实现过程

由于上级的工作安排，今年的5月份开始每天都需要做一些服务器信息的巡检；

对方交接时，完全是通过手敲指令、手动记录来实现的；

熟悉了一段时间，把流程和记录方式优化了一下（依旧是手动）；

后来听说Y哥那边在部署总行提供的新的监控系统，基本可以替代巡检；

就打算坚持一下，不研究自动化巡检了，等监控上线；

等来等去就等了4个月。。。。。

新的监控一直不能正式上线，告警很多很杂，项目组一直在做优化和过滤；

还好这4个月一直不太忙，每天花点时间巡检好像也没什么；

进入三季度最后一个月突然忙了起来；

决定不等了，研究一下脚本；

这篇随笔就用来记录和整理自动化服务器巡检的实现过程吧。

---

自动化巡检系统大致分为几个部分：

1. 常规服务器巡检脚本；

2. 定制服务器巡检脚本；

3. 脚本的下发；

4. 巡检信息的统一收集；

5. 巡检信息每日自动发送到邮箱。

---

 先上一张结构图：

第一次做这种多服务器互相发送文件的系统真的是没有经验；

最一开始应该先考虑网络结构，因为图中的Windows管理机并不能和特殊网段服务器通信，导致后面加入特殊网段后，不得不用堡垒机下发脚本和收集结果，导致结构很混乱，不过还好，特殊网段服务器不算多；

如果一开始就用堡垒机作为下发和收集的核心，整体结构会清晰很多。

---

1. 常规服务器巡检脚本

常规服务器巡检脚本是在一台Linux服务器上编写、测试，再上传到Windows管理机的。需要巡检的服务器每天定时去提供SFTP服务的Windows管理机上下载脚本，方便后续脚本更新，实现此功能的脚本（getshell.sh）如下：

#!/bin/bash
# ----- 从SFTP下载巡检脚本 -----

sftpip=XX.XXX.XX.XXX
user=XXXXXXX
downDir=/patrol/shell

# ----- 随机延时约0-30s后下载 -----

sleeptime=`expr $RANDOM / 1000`
sleep $sleeptime

sftp $user@$sftpip << EOF
cd $downDir
lcd /root/patrol
get patrol.sh
bye
EOF

SFTP脚本无法像FTP一样直接在脚本中写入密码，需要先将访问者的公钥提供给SFTP服务端，生成公钥的方法我参考的是http://bbs.chinaunix.net/thread-508290-1-1.html

在Windows管理机上我使用的是FreeSSHD提供的SFTP服务，把公钥放在软件配置中指定的位置就可以了。

因为涉及到的服务器比较多，好几十条公钥，所以合成公钥是用bat脚本实现的：

@echo off
dir
copy *.pub result.pub
echo DONE
pause

脚本中添加了一个随机延时功能，原因是一开始同步操作多个服务器进行SFTP访问时，出现了超过SFTP最大连接数的现象。因为每个服务器访问SFTP的时间很短，因此随机延时0-30s就够了。其中$RANDOM是系统自带的随机数变量。

写好脚本后在服务器的crontab中添加了一行定时任务，每天7点执行getshell.sh：

0 7 * * * /bin/bash /root/patrol/getshell.sh > /dev/null 2>&1

后面的 > /dev/null 2>&1 是不写定时任务日志的意思，因为功能比较简单，感觉没必要写日志。crontab的写法参考的是菜鸟教程：https://www.runoob.com/w3cnote/linux-crontab-tasks.html

下面就是巡检脚本（patrol.sh）的主体了：

#!/bin/bash
PATH=/sbin:/usr/sbin:/usr/local/sbin:/root/bin:/usr/local/bin:/usr/bin:/bin:/usr/bin/X11:/usr/games
# ----- 巡检脚本 V2.0 -----

# ----- 定义变量：上传SFTP地址、用户名、密码、路径 -----

cd /root/patrol
sftpip=XX.XXX.XX.XXX
user=XXXXXXX
remoteDir=/patrol/upload

# ----- 定义变量：本机信息、巡检参数、时间参数 -----

localip=`ifconfig | grep 'XX.XXX.XX' | grep Bcast | awk '{print $2}' |awk -F: '{print $2}'`
loadavg=`top -b -n 1 | grep 'load average' | awk '{print $11 $12 $13 $14 $15}'`
cpuid=`top -b -n 1 | grep %Cpu | awk '{print $8 $9}'`
diskfree=`df -h | awk '{print $5}'`
memtotal=`free -l | grep Mem | awk '{print $2}'`
memocp=`free -l | grep buffers/cache | awk '{print $3}'`
memratio=`expr $memocp \* 100 / $memtotal`

if [ $memratio -ge 80 ]
then
    memwarn=内存过高！！！
else
    memwarn=内存正常
fi

date=$(date "+%Y%m%d")
filename=$date"_"$localip.txt

# ----- 主程序 -----

echo -e $date-----$localip-----$loadavg-----$cpuid-----$diskfree-----$memratio-----$memwarn >$filename

# ----- 随机延时约0-30s后上传SFTP -----

sleeptime=`expr $RANDOM / 1000`
sleep $sleeptime

sftp $user@$sftpip << EOF
cd $remoteDir
put $filename
bye
EOF

rm $filename

整个脚本中，比较难的就是各个巡检项变量的定义，从上到下依次是本机IP、平均负载、CPU空闲、逻辑卷占用、内存总量、内存占用、内存占比，一共七项。shell中复杂变量的定义需要用··框起来，就是键盘上1左边的点；

其中grep 'XXX'是为了抓取需要的行，awk '{print $X}'是为了抓取这一行内需要的位置，memratio这一项中的expr 'XXX'是为了用上面的memtotal和memocp两个变量计算内存占比，然后加了一个内存是否过高的判断；

主程序只有一行，就是把各个变量echo到一个文件中，文件以当天的日期_服务器IP.txt命名。echo -e的目的是激活转义字符。

后面还是添加了延时和SFTP上传，上传后删除掉了服务器上的文件，防止时间长了占用太多服务器磁盘。

写完上述内容后，手动运行patrol.sh就可以实现功能了，但是添加了crontab定时任务后发现不生效：

30 7 * * * /bin/bash /root/patrol/patrol.sh > /dev/null 2>&1

一开始认为是crontab写得有问题，后来发现是没有在脚本中添加环境变量，即开头的PATH这一行，参考的是：https://www.cnblogs.com/huskiesir/p/9970291.html

因为脚本中用到的变量比较多，所以干脆把系统提示的所有环境变量都扔进去了。。。

目前巡检脚本的输出结果是这样的：

20211014-----XX.XXX.XX.XX-----average:0.18,0.11,0.09-----63.6id,-----Use% 1% 1% 10% 0% 17% 51% 59% 1% 9% 1% 33% 38% 27% 10% 5% 1% 0%-----24-----内存正常

只对内存的状态进行了一个简单的判断，后续优化的过程中打算把每一项的状态都判断出来，这样看巡检结果就比较方便了，尤其是逻辑卷占用这块，现在看着简直头疼，不过这也比之前每天点开一大堆服务器手动巡检强太多了。

---

2. 定制服务器巡检脚本

除了每台服务器都需要的常规项巡检，某些服务器还需要针对某个服务或者某些定时生成的文件进行巡检，实现起来其实就是一些特殊变量的定义，最后还是全部echo到一个txt中统一收集，下面一一进行列举：

① 查看进程

custom_patrol=`ps -ef | grep XXX | grep XXX`

没什么好说的，就是看一些进程在不在，输出结果就是ps -ef的某一行。

② 查看文件

custom_patrol=`ls -l /某路径 | grep 文件关键字`

也没啥好说的，就是看一些文件在不在，grep后面可以跟一些日期变量啥的，可以抓取文件名中有日期的文件。一开始我还不知道脚本中不能用ll这个命令，查了一下才知道ll就是ls -l的缩写。。。

③ 查看consul服务数

custom_patrol=`/某路径/consul catalog services | wc -l`

查看consul微服务的个数，后面的 | wc -l 是计数的意思，不加的话会列出服务的列表。

④ telnet端口

telnet本来是一个很简单的指令：

telnet XX.XXX.XX.XXX 某端口

但是用脚本实现起来就要稍微复杂一点了，因为telnet本身是类似于FTP、SSH、SFTP这类让系统进入某个客户端的指令。在脚本中，进去容易，出来就得靠EOF了，所以实现起来是这样的：

custom_patrol=`telnet XX.XXX.XX.XXX 某端口 << EOF
exit
EOF`

没错EOF就是为了多加一个exit让系统退出来。。。这样的话就把telnet的情况定义成了变量，实现了端口检测。

⑤ Redis数据库状态检测

custom_patrol=`redis-cli -c -p 某端口 -h XX.XXX.XX.XXX -a '密码'` << EOF
cluster nodes
ping
exit
EOF`

同样用到了EOF格式，cluster nodes是为了检查主从节点，ping是为了pong，exit是为了退出。

⑥ Oracle数据库表空间占用查询 

custom_patrol=`su - oracle -c "sqlplus 用户名/密码 << EOF
select round(sum(bytes)/1024/1024/1024,2)||'G' from user_segments where TABLESPACE_NAME = '表名'；
exit
EOF
exit" | grep -E 'G|M' | grep -v Mining`

公司内的要求是Oracle数据库只能用oracle用户来启动，因此这个变量的声明首先要切换到oracle用户，在su - oracle后加-c "指令"添加切换用户后的指令，sqlplus的指令同样用EOF格式。

因为进入sqlplus后会显示一大堆东西，因此加了两个grep来缩小一下范围，一个是-E显示含有G或者M的行，一个-v是不显示含有Mining的行。

⑦ 文件下载测试

这个功能一开始是想把下载信息定义成变量，然后echo这个变量来显示下载是否成功，后来感觉这样操作太麻烦了，直接下载这个文件，然后用ls -l检测文件是否存在（或是否为当天下载）即可。

curl -o download_test.zip http://XX.XXX.XX.XXX:某端口/路径/文件名\&name=n.zip
custom_patrol=`ls -lh | grep download_test.zip`

curl下载这行我一直没跑出来，后来是让开发小伙伴RCM帮忙改的，现在也没太搞懂，有空再研究下。。。

---

目前用到的一些需要定制的巡检基本就是这些。在echo某个多行变量到txt的时候，打开txt发现写入的时候忽略了换行，参考https://blog.csdn.net/jxfgh/article/details/6757488在echo后加了一个while循环，实现了换行：

echo -e "$XXX" > result.txt | while read i
do
    echo $i
done

---

3. 脚本的下发和4. 巡检信息的统一收集都已经在1. 常规服务器巡检脚本的脚本中实现了，不再赘述。

---

5. 巡检信息每日自动发送到邮箱

每天每台服务器的巡检信息上传到Windows管理机后，需要进行汇总、上传FTP、归档这几个动作，通过bat脚本实现：

@echo off
copy nul all.tx
for %%a in (*.txt) do type %%a >>all.tx && echo. >> all.tx
ren all.tx *.txt
ren all.txt %date:~0,4%%date:~5,2%%date:~8,2%.tmp
del *.txt
ren %date:~0,4%%date:~5,2%%date:~8,2%.tmp %date:~0,4%%date:~5,2%%date:~8,2%.txt
ftp -i -s:"upload"
move %date:~0,4%%date:~5,2%%date:~8,2%.txt D:\FTPhome\patrol\history_data
del %date:~0,4%%date:~5,2%%date:~8,2%.txt

其中ftp命令文件upload：

open XX.XX.XX.XX
用户名
密码
lcd 本地路径
cd FTP路径
binary
put *.txt
bye

上传到FTP后，下一步就是下载到办公机然后通过邮件发送了，这个功能是通过Windows任务计划程序和Python实现的，首先通过定时任务启动bat去调用两个.py：

@echo off
cd 本地路径
python ftp_download.py
python auto_email.py
move %date:~0,4%%date:~5,2%%date:~8,2%.txt 本地路径\history_data

ftp_download.py（参考：https://www.cnblogs.com/Dahlia/p/10551929.html）

#coding=utf-8
import os
import time
from ftplib import FTP  # 引入ftp模块

class MyFtp:

    ftp = FTP()

    def __init__(self,host,port=21):
        self.ftp.connect(host,port)

    def login(self,username,pwd):
        self.ftp.set_debuglevel(2)  # 打开调试级别2，显示详细信息
        self.ftp.login(username,pwd)
        print(self.ftp.welcome)

    def downloadFile(self,localpath,remotepath,filename):
        os.chdir(localpath)   # 切换工作路径到下载目录
        self.ftp.cwd(remotepath)   # 要登录的ftp目录
        self.ftp.nlst()  # 获取目录下的文件
        file_handle = open(filename,"wb").write   # 以写模式在本地打开文件
        self.ftp.retrbinary('RETR %s' % os.path.basename(filename),file_handle,blocksize=1024)  # 下载ftp文件
        # ftp.delete（filename）  # 删除ftp服务器上的文件

    def close(self):
        self.ftp.set_debuglevel(0)  # 关闭调试
        self.ftp.quit()

if __name__ == '__main__':
    ftp = MyFtp('FTP地址')
    ftp.login('用户名','密码')
    date = time.strftime("%Y%m%d", time.localtime())
    ftp.downloadFile('本地路径','FTP路径','%s.txt' % date)
    ftp.close()

auto_email.py（参考：https://www.cnblogs.com/yufeihlf/p/5726619.html）

#coding: utf-8
  
import time
import smtplib    
from email.mime.multipart import MIMEMultipart    
from email.mime.text import MIMEText    
from email.mime.image import MIMEImage 
from email.header import Header   
    
#设置smtplib所需的参数
#下面的发件人，收件人是用于邮件传输的。
smtpserver = 'SMTP服务器'
username = '用户名'
password = '密码'
#成功开启IMAP/SMTP服务，在第三方客户端登录时，登录密码输入以下授权密码:
#HLSNDVBIOUQEUURU
sender = '发送者邮箱'
receiver = '接收者邮箱'
#若收件人为多个收件人
#receiver=['XXX@126.com','XXX@126.com']
date = time.strftime("%Y%m%d", time.localtime())

#subject = 'Automatic server patrol'
#通过Header对象编码的文本，包含utf-8编码信息和Base64编码信息。以下中文名测试ok
subject = '服务器巡检结果'
subject = Header(subject, 'utf-8').encode()
    
#构造邮件对象MIMEMultipart对象
#下面的主题，发件人，收件人，日期是显示在邮件页面上的。
msg = MIMEMultipart('mixed') 
msg['Subject'] = subject
msg['From'] = '发件人'
msg['To'] = receiver
#收件人为多个收件人,通过join将列表转换为以;为间隔的字符串
#msg['To'] = ";".join(receiver) 
#若无时间，就默认一般为当前时间，该值一般不设置
#msg['Date']='2012-3-16'

#构造文字内容   
text = "今日巡检结果"    
text_plain = MIMEText(text, 'plain', 'utf-8')    
msg.attach(text_plain)    

#构造图片链接
# sendimagefile=open(r'D:\pythontest\testimage.png','rb').read()
# image = MIMEImage(sendimagefile)
# image.add_header('Content-ID','<image1>')
# image["Content-Disposition"] = 'attachment; filename="testimage.png"'
# msg.attach(image)

#构造html
#发送正文中的图片:由于包含未被许可的信息，网易邮箱定义为垃圾邮件，报554 DT:SPM ：<p><img src="cid:image1"></p>
# html = """
# <html>  
#   <head></head>  
#   <body>  
#     <p>Hi!<br>  
#        How are you?<br>  
#        Here is the <a href="http://www.baidu.com">link</a> you wanted.<br> 
#     </p> 
#   </body>  
# </html>  
# """    
# text_html = MIMEText(html,'html', 'utf-8')
# text_html["Content-Disposition"] = 'attachment; filename="texthtml.html"'   
# msg.attach(text_html)    


# 构造附件
sendfile=open('本地路径\%s.txt' % date,'rb').read()
text_att = MIMEText(sendfile, 'base64', 'utf-8') 
text_att["Content-Type"] = 'application/octet-stream'  
#以下附件可以重命名成aaa.txt（测试不成功） 
# text_att["Content-Disposition"] = 'attachment; filename="Python自动邮件附件测试.txt"'
#另一种实现方式
text_att.add_header('Content-Disposition', 'attachment', filename = "%s.txt" % date)
#以下中文测试不ok
#text_att["Content-Disposition"] = u'attachment; filename="中文附件.txt"'.decode('utf-8')
msg.attach(text_att)    
       
#发送邮件
smtp = smtplib.SMTP()    
smtp.connect(smtpserver)
#我们用set_debuglevel(1)就可以打印出和SMTP服务器交互的所有信息。
#smtp.set_debuglevel(1)  
smtp.login(username, password)    
smtp.sendmail(sender, receiver, msg.as_string())    
smtp.quit()

对两个.py的理解比较少，基本上调试了一下能够运行以后就没有再改动了，其中还遇到了ftplib使用报错和计算机名为中文导致邮件发送报错两个问题，分别参考这两篇解决的：

https://blog.csdn.net/BobYuan888/article/details/82980817

https://blog.csdn.net/weixin_41278305/article/details/110943401

在内网环境安装VSCode的离线插件参考了这两篇：

https://blog.csdn.net/l508742729/article/details/103543755

https://blog.csdn.net/sinat_36188088/article/details/105203338

---

至此自动化服务器巡检并且通过邮件发送巡检结果就基本实现了，后续考虑继续优化巡检脚本，增加判断语句，直接给出巡检项是否正常的结果，减少人工查看的部分。