Django 自定义装饰器解决MySQL server has gone away错误

Django 自定义装饰器解决MySQL server has gone away错误

by:授客 QQ1033553122

 

测试环境

Win 10

 

Python 3.5.4

 

Django-2.0.13.tar.gz

官方下载地址:

https://www.djangoproject.com/download/2.0.13/tarball/

 

 

问题描述

实际项目开发中,编写定时任务,通过Django自带的orm去操作数据库,发现某次执行程序报错:

MySQL server has gone away

 

原因分析

mysql数据库存在超时关闭非活动状态连接的机制,导致Django获取的连接失效,但是Django自身并不知道。当我们在前端通过api、web页面发送request,Django处理request时会发送Signals,进而触发连接状态检查,自动关闭不可用连接,又因为不存在可用连接的情况下,Django会自动重新创建数据库连接,执行我们想要的操作,所以一般情况不会报这个错误。但是当我们使用定时任务,直接使用orm去操作数据库时并不会触发发送Signals的操作,拿着失效连接去操作数据库,然后就报错了

 

参考链接:

https://docs.djangoproject.com/en/1.8/ref/signals/#module-django.db.models.signals

 

解决方法

自定义关闭不可用连接装饰器,在操作数据库之前进行关闭不可用连接操作。

 

编写装饰器代码

 

编写实现代码前,我们先看下Django相关源码

 

Django-2.0.13\django\db\__init__.py

...略

 

# Register an event to reset saved queries when a Django request is started.

def reset_queries(**kwargs):

    for conn in connections.all():

        conn.queries_log.clear()

 

 

signals.request_started.connect(reset_queries)

 

 

# Register an event to reset transaction state and close connections past

# their lifetime.

def close_old_connections(**kwargs):

    for conn in connections.all():

        conn.close_if_unusable_or_obsolete()

 

 

signals.request_started.connect(close_old_connections)

signals.request_finished.connect(close_old_connections)

 

如上英文注释,可知道,开始请求和完成请求都会调用close_old_connections,重置会话事务状态,关闭超过生命周期的连接,所以我们可以参照这个实现自己的装饰器

 

新建wrappers.py

本例中,wrappers.py存放路径:TMP/backend/common/wrappers.py(这里TMP是我的项目名称,backend为新建应用名称)

 

#!/usr/bin/env python

# -*- coding:utf-8 -*-

 

__author__ = 'shouke'

 

'''

自定义装饰器

'''

 

from django.db import close_old_connections

 

def close_old_database_connections(func):

    '''自定义decorator,用来装饰使用数据库操作函数'''

    def wrapper(*args, **kwargs):

        close_old_connections()

        return func(*args, **kwargs)

 

    return wrapper

 

 

 

使用装饰器

 

#!/usr/bin/env python

# -*- coding:utf-8 -*-

 

__author__ = 'shouke'

 

 

from backend.common.wrappers import close_old_database_connections

 

@close_old_database_connections

def gather_zengtao_group_defect_trend_data():

    # ...Django orm数据库操作

posted @ 2020-08-16 20:29  授客  阅读(176)  评论(0编辑  收藏