Python实现聊天机器人接口封装部署

一、前言说明

　　博客声明：此文链接地址https://www.cnblogs.com/Vrapile/p/12427326.html，请尊重原创，未经允许禁止转载！！！

　　1. 功能简述

　　（1）将chatterbot机器人框架的的聊天与训练功能封装成API接口，并部署在服务器，可以供其它系统调用（此文主要讲解点）

　　（2）额外封装百度图像识别和语音识别的API接口

　　（3）实现前端后台管理机器人对话的增删改查导等功能

　　（4）最终效果图如下，提供我的工作台，欢迎观摩：地址http://www.ninecloud.top/msw||账号visitor||密码1

　　（为防止未经允许转载，密码定期更新，文章内容也会根据读者反馈不断更新）

　　（5）实现下述效果，综合技术有SpringBoot+Mybatis+Mysql管理登录、菜单权限、机器人权限等，Python提供机器人API，VUE开发前端框架，服务器Nginx负载均衡等。

　　

 

　　2. 我的开发环境

　　（1）开发系统环境Win10，运行环境Python3.8，运行工具Pycharm，服务器Centos7.4，前端框架Vue，前端工具VSCode，服务器工具Xshell5和Xftp5，其它Idea工具、java语言、SpringBoot+Mybatis搭建登录权限等

 

二、接口源码设计

　　

　　1. 文件结构说明

　　（1）config包文件夹，放配置文件

　　（2）db路径文件夹，放本地sqlite3数据库，只需建文件夹即可

　　（3）file路径文件夹，放临时上传和下载文件，只需建文件夹即可

　　（4）log路径文件夹，放在服务器运行的日志（只在服务器部署需要）

　　（5）test包文件夹，放测试代码等，可忽略

　　（6）tool包文件夹，放封装的公用函数的代码

　　（7）gunicorn.py，服务器启动配置文件（只在服务器部署需要）

　　（8）mychatbot.py，系统入口文件

　　（9）README.md，说明文件

 

　　2. 配置config文件

　　（1）基本配置，含路径baseConfig.py

import os

# 运行路径
runPath = os.getcwd()

# 数据库地址
databasePath = "sqlite:///"+os.path.join(runPath, "db/mychat.sqlite3")
# databasePath = 'mongodb://localhost:27017/mychat'

# 导出文件路径
export_json_path = os.path.join(runPath, r"file/my_export.json")

# 导入文件保存路径前缀
import_json_path = os.path.join(runPath, r"file")

 　　

　　（2）百度配置baiduConfig.py

　　　其中百度的秘钥和私钥，是博主在百度智能云申请，仅供个人学习使用，禁止作为其它用途 ！！！

# 百度图像
Img_App_ID = "10681976"
Img_API_Key = "cHNlTXmj8FG9ZHXtRwQMRXwa"
Img_Secret_Key = "CYgOfjxKr2qWGGd8zpmiVgFCPTwK9ivC"
Img_Options = {
    'detect_direction': 'true',
    'language_type': 'CHN_ENG',
}

# 百度语音
Voice_App_ID = "10623076"
Voice_API_Key = "2NagVAULCYCnOnamrc8MNUPc"
Voice_Secret_Key = "af4860b64e77d187643db05ccdb060e4"
Voice_Api_Url = r"http://tts.baidu.com/text2audio"
# 参数设置
Voice_Api_Set = {"idx": 1, "cuid": "baidu_speech_demo", "cod": 2, "lan": "zh",
                 "ctp": 1, "pdt": 1, "spd": 4, "per": 4, "vol": 5, "pit": 5}
# Token认证
Voice_OpenApi_Url = r"https://openapi.baidu.com/oauth/2.0/token?grant_type=client_credentials&" \
                    r"client_id="+Voice_API_Key+"&client_secret="+Voice_Secret_Key
# 上传路径
Voice_Up_Url = r"http://vop.baidu.com/server_api"

  

　　3. 工具tool文件

　　（1）ResponseMessage.py封装返回的统一接口格式 

#!/usr/bin/python3
# -*- coding: utf-8 -*-
"""
Created on Feb 23, 2020
@author: Vrapile
"""

import json

retutn_format = {"code": 200, "success": True, "data": "", "message": "", "flag": 0}


def ok(data, code=200):
    return_dict = retutn_format
    return_dict["code"] = code
    return_dict["success"] = True
    return_dict["data"] = data
    return_dict["message"] = None
    return_dict["flag"] = 0
    return json.dumps(return_dict, ensure_ascii=False)


def error(message, code=500):
    return_dict = retutn_format
    return_dict["code"] = code
    return_dict["success"] = False
    return_dict["data"] = None
    return_dict["message"] = message
    return_dict["flag"] = 1
    return json.dumps(return_dict, ensure_ascii=False)


def res(data):
    if data[0]:
        return ok(data[1])
    else:
        return error(data[1])

 

　　（2）BaiduUtil.py百度智能识别封装

import json
import random
import urllib.request
import base64
from aip import AipOcr
from config import baiduConfig
from tool import IOUtil


# 百度语音转文本
def get_image_content(path):
    # noinspection PyBroadException
    try:
        # 初始化AipFace对象
        aip = AipOcr(baiduConfig.Img_App_ID, baiduConfig.Img_API_Key, baiduConfig.Img_Secret_Key)
        # 调用通用文字识别接口
        result = aip.basicGeneral(IOUtil.get_file_content(path), baiduConfig.Img_Options)
        return True, result['words_result']
    except:
        return False, "Something Wrong!"


# 百度语音转文本
def get_voice_content(path):
    # 获取access_token
    token = get_token()
    data = {}
    data['format'] = 'wav'
    data['rate'] = 16000
    data['channel'] = 1
    data['cuid'] = str(random.randrange(123456, 999999))
    data['token'] = token
    wav_fp = open(path, 'rb')
    voice_data = wav_fp.read()
    data['len'] = len(voice_data)
    data['speech'] = base64.b64encode(voice_data).decode('utf-8')
    post_data = json.dumps(data)
    r_data = urllib.request.urlopen(baiduConfig.Voice_Up_Url, data=bytes(post_data, encoding="utf-8")).read()
    print(json.loads(r_data))
    err = json.loads(r_data)['err_no']
    if err == 0:
        return True, json.loads(r_data)['result'][0]
    else:
        return False, json.loads(r_data)['err_msg']


# 获取百度API调用的认证，实时生成，因为有时间限制
def get_token():
    token_url = baiduConfig.Voice_OpenApi_Url
    r_str = urllib.request.urlopen(token_url).read()
    token_data = json.loads(r_str)
    token_str = token_data['access_token']
    return token_str

if __name__ == '__main__':
    filepath = r'E:\Python_Doc\voice_say\beijing.wav'
    print(get_voice_content(filepath))

　　

　　（3）IOUtil.py文件交互封装

# 读取文件
def get_file_content(path):
    with open(path, 'rb') as fp:
        return fp.read()

  

　　4. gunicorn.py文件，服务器配置文件，只在本地运行不需要

#!/usr/bin/python3
# -*- coding: utf-8 -*-
"""
Created on Feb 23, 2020
@author: Vrapile
"""
import multiprocessing

bind = "127.0.0.1:8000"
timeout = 30
daemon = True
workers = multiprocessing.cpu_count() * 2 + 1    #进程数
threads = 2 #指定每个进程开启的线程数
loglevel = 'info' #日志级别，这个日志级别指的是错误日志的级别，而访问日志的级别无法设置
access_log_format = '%(t)s %(p)s %(h)s "%(r)s" %(s)s %(L)s %(b)s %(f)s" "%(a)s"'    #设置gunicorn访问日志格式，错误日志无法设置
# proc_name = 'jlchat'
accesslog = "/home/python/mychat/log/gunicorn_access.log"      #访问日志文件
errorlog = "/home/python/mychat/log/gunicorn_error.log"        #错误日志文件

 　　

　　5. mychatbot.py文件，启动文件，启动系统运行此文件即可

#!/usr/bin/python3
# -*- coding: utf-8 -*-
"""
Created on Feb 23, 2020
@author: Vrapile
"""

import os
import json
from chatterbot import ChatBot
from flask import Flask, request
from chatterbot.trainers import ListTrainer
from chatterbot.trainers import ChatterBotCorpusTrainer
from config.baseConfig import databasePath, import_json_path, export_json_path
from tool import ResponseMessage, BaiduUtil


mychatbot = Flask(__name__)

mychat = ChatBot(
    "mychat",
    storage_adapter='chatterbot.storage.SQLStorageAdapter',
    logic_adapters=[
        {
            'import_path': 'chatterbot.logic.BestMatch'
        },
        {
            'import_path': 'chatterbot.logic.BestMatch',
            'default_response': 'I am sorry, but I do not understand.',
            'maximum_similarity_threshold': 0.90
        }
    ],
    read_only=True,  # 为False会记录对话并录入训练
    database_uri=databasePath)


@mychatbot.errorhandler(404)
def not_found(error):
    return ResponseMessage.error("Not found !", 404)


@mychatbot.route("/get_answer", methods=['POST', 'GET'])
def get_answer():
    # noinspection PyBroadException
    try:
        question = request.args.to_dict().get('question')
        answer = mychat.get_response(question)
    except:
        return ResponseMessage.error("Something Wrong!")
    finally:
        return ResponseMessage.ok(str(answer))


@mychatbot.route("/import_qa", methods=["POST"])
def import_qa():
    # noinspection PyBroadException
    try:
        question = request.values.get("question")
        answer = request.values.get("answer")
    except:
        return ResponseMessage.error("Something Wrong!")
    list_trainer = ListTrainer(mychat)
    list_trainer.train([question, answer])
    return ResponseMessage.ok("问答对话训练成功！")


@mychatbot.route("/import_jsonfile", methods=["POST"])
def import_jsonfile():
    # noinspection PyBroadException
    try:
        jsonfile = request.files['jsonfile']
        filepath = os.path.join(import_json_path, jsonfile.filename)
        jsonfile.save(filepath)
    except:
        return ResponseMessage.error("Something Wrong!")
    corpus_trainer = ChatterBotCorpusTrainer(mychat)
    corpus_trainer.train(filepath)
    return ResponseMessage.ok("JsonFile训练成功！")


@mychatbot.route("/export_json", methods=['POST', 'GET'])
def export_json():
    corpus_trainer = ChatterBotCorpusTrainer(mychat)
    corpus_trainer.export_for_training(export_json_path)
    with open(export_json_path, 'r', encoding='utf8')as fp:
        json_data = json.load(fp)
    return ResponseMessage.ok(json_data)


@mychatbot.route("/get_image_content", methods=["POST"])
def get_image_content():
    # noinspection PyBroadException
    try:
        imgefile = request.files['imgefile']
        filepath = os.path.join(import_json_path, imgefile.filename)
        imgefile.save(filepath)
    except:
        return ResponseMessage.error("Something Wrong!")
    return ResponseMessage.res(BaiduUtil.get_image_content(filepath))


@mychatbot.route("/get_voice_content", methods=["POST"])
def get_voice_content():
    # noinspection PyBroadException
    try:
        voicefile = request.files['voicefile']
        filepath = os.path.join(import_json_path, voicefile.filename)
        voicefile.save(filepath)
    except:
        return ResponseMessage.error("Something Wrong!")
    return ResponseMessage.res(BaiduUtil.get_voice_content(filepath))


if __name__ == "__main__":
    mychatbot.run(debug=True)

  

三、本地运行

　　1. 打开mychatbot.py，Ctrl+Shift+F10运行此文件，可看控制台是否启动成功，成功情况如下：　　

　　

   

 　　2. Postman请求测试

　　

 

四、服务器部署

　　1. 服务器安装python3.8

　　　　说明a：博主保留默认python2.7环境变量为python变量，新装python3.8变量为python3

　　　　说明b：网上有改python2.7位改为python2，新装python3.8改变量为python，看个人喜好

　　（1）安装依赖包

　　　　yum install -y libffi-devel zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel zlib zlib-devel gcc make

　　（2）下载python3.8压缩包（最好在/home路径下载，方便后期管理）

　　　　wget https://www.python.org/ftp/python/3.8.0/Python-3.8.0.tgz

　　（3）解压

　　　　tar -zxvf Python-3.8.0.tgz

　　（4）配置安装

　　　　cd Python-3.8.0

　　　　./configure --prefix=/usr/local/python3

　　　　make && make install

　　（5）添加软链接（如果已经有，改-s为-sf强行替换）

　　　　ln -s /usr/local/python3/bin/python3 /usr/bin/python3

　　　　ln -s /usr/local/python3/bin/pip3  /usr/bin/pip3

 

　　2. 服务器安装gunicorn，用于启动python项目

　　（1）直接pip安装

　　　　pip3 install gunicorn

　　（2）添加软链接

　　　　ln -s /usr/local/python3/bin/gunicorn  /usr/bin/gunicorn

　　（3）常用命令介绍

　　　　开启服务：gunicorn -c gunicorn.py filename:flaskname

　　　　查看服务：pstree -ap|grep gunicorn

　　　　重启服务：kill -HUP 99999（99999为上一步查到的主进程ID，上传修改项目文件后，重启即可生效）

　　　　关闭服务：kill -9 99999

　　（4）将常用命令添加到/root/.bashrc

　　　　vi /root/.bashrc

　　　　****添加内容****

　　　　alias cdmychat='cd /home/python/mychat'

　　　　alias psgun='pstree -ap|grep gunicorn'

　　　　alias gunc='gunicorn -c gunicorn.py'

　　　　****添加内容****

　　　　source /root/.bashrc

 

　　3. 服务器安装mychat项目的依赖

　　　　说明a. 我用的全局环境成功的，最好用网上说的Python配置虚拟环境

　　　　说明b. 我的方式是，服务器运行报错了，缺什么安装什么的，最好用本地生成requirements.txt方式

 　　（1）安装chatterbot

　　　　命令：pip3 install chatterbot，安装的是1.0.5版本，如果失败可以选择源码安装，源码实时是1.1.0版本（2020/03/06），命令如下：

　　　　git clone https://github.com/gunthercox/ChatterBot.git

　　　　pip install ./ChatterBot

　　　　chatterbot会请求spacy>=2.1,<2.2依赖，这个有时会不成功，博主因升级python出现的问题状况比较复杂，但最终还是解决了，如果失败，可以评论区留言询问

 

　　（2）安装其它依赖，以下是本人服务器安装依赖包情况，不必完全一样或者照搬，能运行就好

　　　　查看所有依赖的命令：pip3 list

　　　　

 

 　　（3）运行项目系统

　　　　将文件上传到服务器

　　　　

　　　　启动命令：gunc mychatbot:mychatbot

　　　　查看命令：psgun

　　　　（如果运行报错，查看/home/python/mychat/loggunicorn_error.log报错内容，一般是缺少依赖，对应安装依赖就好）

 

　　（3）nginx把域名转接到gunicorn.py中配置的端口，在nginx.conf添加并重启nginx

　　　　# python的api应用
　　　　server {
　　　　　　listen 80;
　　　　　　server_name 你的API域名地址;
　　　　　　　　location / {
　　　　　　　　root html;
　　　　　　　　index index.html index.htm;
　　　　　　　　proxy_pass http://127.0.0.1:8000;
　　　　　　}
　　　　}

　　　　（不用nginx也可以端口地址访问，需阿里云开启8000端口，如果服务器上防火墙开启也要开启8000端口）

 

 　　（4）验证是否成功，同上面可以用浏览器或Postman测试

　　　　 

五、前端开发

　　1. 此部分不做详细介绍只放效果图

　　（1）脚手架直接弄个Vue工程

　　　　

   

　　（2）所写API接口可以嵌入其它任何项目，部署后部分效果界面（python源码需相应改动支持）

　　　　（机器聊天，选择机器人，我这里有sqlite3和mongo两种数据库的机器人，每个机器人我分开建立一个数据库）

　　　　

 

  　　　　（图灵聊天，调用Tuling的Api实现）

　　　　

    

　　　　（Json训练，可直接导入Json文件训练，适合数据库迁移）

　　　　

    

 　　　　（对话管理，可对训练语句进行删改查导出）

　　　　

   

  　　（3）VUE访问会有跨域问题，我选择在mychatbot.py中引入flash_cors包，在接口添加：CORS(mychatbot, supports_credentials=True)

　　　　　

 

六、编写接口文档 

　　1. 博主自己服务器搭建的showdoc，用起来挺方便的，下面是接口文档样式

　　　　

 

七、总结

　　1. 后端开发的代码较简单，难的环境搭建，我本地环境从Python3.6升级到3.8折腾了一两天，服务器搭建也折腾了两三天，最终证实这个是可以实现的。

　　2. chatterbot的主要工作在于训练，核心价值在于取相似问题的算法，深入学习和了解可以自行注入算法。

　　3. 作为商用聊天机器人，还需要一个相似问题查看的API接口，目前还在钻研中（场景类似于：输入一个问题，匹配返回最相似的五个问题，选择要问的那个问题）

　　4. 上文中的图像识别和语音识别是调用百度的API，如果商用还需考虑费用问题

　　5.改动日志，提供我的工作台地址账号密码，可自己查看效果