微服务状态之python巡查脚本开发

 背景

由于后端微服务架构，于是各种业务被拆分为多个服务，服务之间的调用采用RPC接口，而Nacos作为注册中心，可以监听多个服务的状态，比如某个服务是否down掉了、某个服务的访问地址是否改变、以及流量分配降级等等。（nacos注册中心的由来及原理）

运维架构用的是K8S，由于之前没有做服务高可用的特性，K8S上服务挂掉后不会自动重启。

所以测试过程中，某个接口有问题，可能最先需要排查该服务或依赖服务是否正常可用。

 问题

上面说到，测试过程中还需要查看服务是否正常，这是很浪费时间的，特别是环境不稳定的情况下，也许今天下班前测得好好的，明天或者后天就会发现部分服务就挂掉了（毕竟六七十个服务人工筛查太麻烦了）。能否把这个问题前置解决？

解决方案

我的解决方法就是，利用python爬虫思路，每天获取当前nacos注册的服务与nacos配置的服务列表对比，如果注册的服务小于Nacos的服务，就说明部分服务不可用，这时就可以先解决后再介入测试，再搭配Jenkins，可以早晚巡查服务是否正常。（当然我们后面K8S已经实现了服务的自动重启，所以该脚本也算服务检查的补充方案了）

设计如下

首先定义一个测试类checkJob。

第一步，登录nacos

    # 登录nocas
    def con_nacos(self):
        data = {"username":"nacos","password":"Billion123!@#"}
        res = requests.post(url = self.urlLogin, headers = self.headers, data=data).json()['accessToken']
        return res

第二步，获取当前namespace服务配置文件

    # 获取目前环境服务配置列表
    def get_job_config(self):
        self.joblist = []
        params = self.config_params
        res = requests.get(url= self.urlGetConfig, headers = self.headers, params = params).json()["pageItems"]
        for i in res:
            self.joblist.append(i.get("dataId"))
        print("-------目前的服务配置有：", len(self.joblist))
        return self.joblist

第三步，获取当前正常注册的服务

    # 获取目前所有服务列表
    def get_job(self):
        self.getjoblist = []
        res = requests.get(url = self.urlGetJob,headers = self.headers, params = self.params).json()['serviceList']
        for i in res:
            self.getjoblist.append(i.get("name"))
        return self.getjoblist

第四步，比对实际注册的服务与配置的服务并打印输出

    #迭代比对当前服务列表
    def check_job(self):
        tmp = set(self.joblist).difference(self.getjoblist)
        if tmp:
            return tmp
        else:
            return ""

    #对未存在的服务通知告警
    def msg(self,tmp):
        for i in self.ignore:
            if i in tmp:
                tmp.remove(i)
                # print(i)
        if tmp:
            print(f"缺少{len(tmp)}个服务，如下：", tmp)
        else:
            print(f"{len(self.joblist)}个服务正常：", self.joblist)

当然可能有多个环境，优化一下代码，全部代码如下：

import requests

class CheckJob():
    #定义所有服务列表
    joblist = []
    urlLogin = "http://xxx.xxx.xxx.xxx:10086/nacos/v1/auth/users/login"
    urlGetConfig = "http://xxx.xxx.xxx.xxx:10086/nacos/v1/cs/configs"
    urlGetJob = "http://xxx.xxx.xxx.xxx:10086/nacos/v1/ns/catalog/services"
    headers = {
        'Accept': 'application/json, text/plain, */*',
        'Accept-Encoding': 'gzip, deflate',
        'Accept-Language': 'zh-CN,zh;q=0.9',
        'Connection': 'keep-alive',
        "Host": "nacos.bb.local",
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36',
    }
    # 忽略部分服务列表
    ignore = ["member", "zuul", "order", "b-shop"]
    def __init__(self):
        self.accessToken = self.con_nacos()
        for str in ["d","t","p","pro"]:
            if str.strip() == "p":
                # 预发环境
                self.params = "hasIpCount=true&withInstances=false&pageNo=1&pageSize=100&serviceNameParam=&groupNameParam=&namespaceId=4dcd1ab3-9c07-4f2b-9ed9-9c1f67f4de9e&accessToken=$accessToken"
                self.config_params = "dataId=&group=&appName=&config_tags=&pageNo=1&pageSize=100&tenant=4dcd1ab3-9c07-4f2b-9ed9-9c1f67f4de9e&search=accurate&accessToken=$accessToken"
                print("预发环境",end="")
            elif str.strip() == "t":
                # 测试环境
                self.params = "hasIpCount=true&withInstances=false&pageNo=1&pageSize=100&serviceNameParam=&groupNameParam=&namespaceId=0f4106a4-acad-4327-a1f5-54ee78b342ea&accessToken=$accessToken"
                self.config_params = "dataId=&group=&appName=&config_tags=&pageNo=1&pageSize=100&tenant=0f4106a4-acad-4327-a1f5-54ee78b342ea&search=accurate&accessToken=&accessToken"
                print("测试环境", end="")
            elif str.strip() == "d":
                # 开发环境
                self.params = "hasIpCount=true&withInstances=false&pageNo=1&pageSize=100&serviceNameParam=&groupNameParam=&accessToken=$accessToken&namespaceId=ddd4b051-5a76-417d-bef8-09f7ff941bbd"
                self.config_params = "dataId=&group=&appName=&config_tags=&pageNo=1&pageSize=100&tenant=ddd4b051-5a76-417d-bef8-09f7ff941bbd&search=accurate&accessToken=&accessToken"
                print("开发环境",end="")
            elif str.strip() == "pro":
                # 线上环境
                self.params = "hasIpCount=true&withInstances=false&pageNo=1&pageSize=100&serviceNameParam=&groupNameParam=&accessToken=&accessToken&namespaceId=1b1a6ba8-2d21-4cd6-b7b2-ecd3b838c387"
                self.config_params = "dataId=&group=&appName=&config_tags=&pageNo=1&pageSize=100&tenant=1b1a6ba8-2d21-4cd6-b7b2-ecd3b838c387&search=accurate&accessToken=&accessToken"
                print("线上",end="")
            else:
                print("输入不合法")
            if self.params:
                self.params = self.params.replace("$accessToken", self.accessToken)
                if self.get_job_config():
                    if self.get_job():
                        self.msg(self.check_job())
                    else:
                        print("获取nacos服务失败")
                else:
                    print("获取nacos服务配置失败")
            else:
                print("nacos登录失败")


    # 登录nocas
    def con_nacos(self):
        data = {"username":"naco登录名","password":"nacos登录密码"}
        res = requests.post(url = self.urlLogin, headers = self.headers, data=data).json()['accessToken']
        return res

    # 获取目前环境服务配置列表
    def get_job_config(self):
        self.joblist = []
        params = self.config_params
        res = requests.get(url= self.urlGetConfig, headers = self.headers, params = params).json()["pageItems"]
        for i in res:
            self.joblist.append(i.get("dataId"))
        print("-------目前的服务配置有：", len(self.joblist))
        return self.joblist

    # 获取目前所有服务列表
    def get_job(self):
        self.getjoblist = []
        res = requests.get(url = self.urlGetJob,headers = self.headers, params = self.params).json()['serviceList']
        for i in res:
            self.getjoblist.append(i.get("name"))
        return self.getjoblist

    #迭代比对当前服务列表
    def check_job(self):
        tmp = set(self.joblist).difference(self.getjoblist)
        if tmp:
            return tmp
        else:
            return ""

    #对未存在的服务通知告警
    def msg(self,tmp):
        for i in self.ignore:
            if i in tmp:
                tmp.remove(i)
                # print(i)
        if tmp:
            print(f"缺少{len(tmp)}个服务，如下：", tmp)
        else:
            print(f"{len(self.joblist)}个服务正常：", self.joblist)

if __name__ == '__main__':
    cj= CheckJob()

Jenkins持续集成

第一步，上传到gitlab

 这一步就不说了，自行上传即可（记得拷贝git链接），没用gitlab的可以直接放到Jenkins的服务器上。

第二步，配置jenkins

 新建一个任务，选择github项目，输入项目地址

 在源码管理这里配置的git登录用户证书信息，分支直接选master即可

 构建触发器这里填入cron定时任务，这里代表周一到周六每天早上8点和下午15点各执行一次。

 构建命令这里输入python命令即可（注意Jenkins的服务器上得有python的运行环境）

最后，构建后自动发送邮件（需要安装Editable Email Notification插件）

以下收件人和回复人得邮件地址采用了变量方式，也可直接输入邮箱地址

 

 Content Type选择HTML（text/html）作为邮箱格式，Default Subject输入模板标题，Default Content作为邮件内容模板，参考如下

<!DOCTYPE html>    
<html>    
<head>    
<meta charset="UTF-8">    
<title>${ENV, var="JOB_NAME"}-第${BUILD_NUMBER}次构建日志</title>    
</head>    
    
<body leftmargin="8" marginwidth="0" topmargin="8" marginheight="4"    
    offset="0">    
    <table width="95%" cellpadding="0" cellspacing="0"  style="font-size: 11pt; font-family: Tahoma, Arial, Helvetica, sans-serif">    
        <tr>    
            本邮件由系统自动发出，无需回复！<br/>            
            各位同事，大家好，以下为${PROJECT_NAME }项目构建信息</br> 
            <td><font color="#2D5900">构建结果 - ${BUILD_STATUS}</font></td>   
        </tr>    
        <tr>    
            <td><br />    
            <b><font color="#0B610B">构建信息</font></b>    
            <hr size="2" width="100%" align="center" /></td>    
        </tr>    
        <tr>    
            <td>    
                <ul>    

                    <li>账        号 ： admin</li>
                    <li>密        码 ： admin123</li>   
                    <li>项目名称 ： ${PROJECT_NAME}</li>   
                    <li>构建编号 ： 第${BUILD_NUMBER}次构建</li>    
                    <li>触发原因： ${CAUSE}</li>    
                    <li>构建状态： ${BUILD_STATUS}</li>
                    <li>项目  Url ： <a href="${PROJECT_URL}">${PROJECT_URL}</a></li>     
                    <li>构建信息： ${BUILD_LOG, maxLines = 10, escapeHtml = false}</li>         
                </ul>    

<h4><font color="#0B610B">失败用例</font></h4>
<hr size="2" width="100%" />
$FAILED_TESTS<br/>

<h4><font color="#0B610B">最近提交(#$SVN_REVISION)</font></h4>
<hr size="2" width="100%" />
<ul>
${CHANGES_SINCE_LAST_SUCCESS, reverse=true, format="%c", changesFormat="<li>%d [%a] %m</li>"}
</ul>
            </td>    
        </tr>    
    </table>    
</body>    
</html>

Attachments作为邮件附件，直接输入report/*.html，Attach Build Log这栏选择Attach Build Log选项

保存构建项目，查看结果如下，详细配置邮件可参考这个文章：https://zhuanlan.zhihu.com/p/161627231