django 的异步处理celery使用

http://www.cnblogs.com/znicy/p/5626040.html

一：介绍  异步：由于http是短连接，所以当一个用户的请求，到指定服务器（dns）请求，服务器做处理，并将结果和状态码返回给客户端。

如果我们在发送一个任务请求，这个任务比较耗时，如果不进行异步处理的话，前端会一直等待服务器返回结果，那用户在前端页面无法进行操作。

所以在处理比较耗时的任务时候，需要将任务做异步处理

celery：就是一个异步框架，他讲前端传来的任务，放在celery任务队列中，然后将任务信息放在celery队列里，等待work 去队列里取任务并执行。

二：安装

软件版本：

Django==1.11.2
celery==3.1.25
redis==2.10.5
django-celery==3.2.1
django-celery-results==1.0.1

 项目目录结构：
项目名称：django_celery

APP：test_celery

django_celery/
django_celery/
├── celery.py
├── celery.pyc
├── __init__.py
├── __init__.pyc
├── settings.py
├── settings.pyc
├── urls.py
├── urls.pyc
├── wsgi.py
└── wsgi.pyc

 在项目根目录下创建文件名字为：celery.py文件，内容如下：

from __future__ import absolute_import  
import os  
from celery import Celery  
from django.conf import settings  
  
# set the default Django settings module for the 'celery' program.  
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'django_celery.settings')  
  
app = Celery('django_celery')  
  
# Using a string here means the worker will not have to  
# pickle the object when using Windows.  
app.config_from_object('django.conf:settings')  
app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)  
 
@app.task(bind=True)  
def debug_task(self):  
    print('Request: {0!r}'.format(self.request)) 

 

其中需要修改：

app = Celery('django_celery')  os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'django_celery.settings') 注意修改成项目的名字。

然后在celery.py目录 ，给___init__追加内容：

from __future__ import absolute_import  
  
# This will make sure the app is always imported when  
# Django starts so that shared_task will use this app.  
from .celery import app as celery_app 

 

程序目录结构：

test_celery/
├── admin.py
├── admin.pyc
├── apps.py
├── __init__.py
├── __init__.pyc
├── migrations
│   ├── __init__.py
│   └── __init__.pyc
├── models.py
├── models.pyc
├── tasks.py
├── tasks.pyc
├── tests.py
├── views.py
└── views.py

 

需要应用的根目录下创建我们的任务模块，需要注意文件的名字是tasks.py不要进行更改。内容如下：注意任务上需要使用特定装饰器，这样celery才知道 这个函数是任务函数。

from __future__ import absolute_import, unicode_literals
from celery import shared_task
 
 
@shared_task
def add(x, y):
    return x + y
 
 
@shared_task
def mul(x, y):
    return x * y
 
 
@shared_task
def xsum(numbers):
    return sum(numbers)

 

然后在视图中进行调用，views.py内容：

#coding:utf-8
from django.shortcuts import render
from django.http import HttpResponse

from .tasks import * 

def index(request):
    ret=mul.delay(1,2)
    print ret
    return HttpResponse(u"OK!")

配置setting文件：

需要添加如下的字段：

BROKER_URL = 'redis://127.0.0.1:6379/0'
CELERY_RESULT_BACKEND = 'redis://localhost:6379/1'  
CELERY_ACCEPT_CONTENT = ['application/json']  
CELERY_TASK_SERIALIZER = 'json'  
CELERY_RESULT_SERIALIZER = 'json

导入模块：

import djcelery
djcelery. setup_loader ( )

 

因为我在使用redis 来做为celery的队列数据，所以我在broker使用的redis，本地的redis 63179端口，数据库索引为:9（注意redi默认有16个db）。

结果返回使用也是写入redis，也是本地redis 索引为1的数据库。如下定义redis存储数据的格式，如果不指定，结果将会是不规则或者不可以识别的。

注册应用：

INSTALLED_APPS = [
    'django.contrib.admin',
    'django.contrib.auth',
    'django.contrib.contenttypes',
    'django.contrib.sessions',
    'django.contrib.messages',
    'django.contrib.staticfiles',
    'test_celery',
    'djcelery',
]

django的db初始化：

python2.7 manage.py  makemigrations
python2.7 manage.py  migrate

启动django和celery：

python2.7     manage.py  runserver  0.0.0.0:1602

启动celery：

python2.7  manage.py celery worker -l info

执行任务：

通过前端的访问，执行视图里的index函数，使用delay（）函数，来调用后端任务函数。该函数的返回值是celery任务的job_id可以通过他的返回值去redis中去结果，效果如下：

 

后端celery日志：

我们视图中打印job_id:

我根据django打印的job_id去redis中去对应的结果：

celery在redis储存的key值是:celery-task-meta-加上job_id才是完整的key。结果是：josn，如上。

注意：

1：在django和celery 结合的时候 报如下错误：

TypeError: 'Settings' object is not subscriptable

ImportError: No module named timeutils

这是因为当前使用的django-celery和 celery不匹配。直接升级这2个软件之后，即可解决。

pip install -U celery
pip install -U django-celery

2在运行celery的时候，不能以root用户运行，在manage.py加上如下：

    os.environ.setdefault('C_FORCE_ROOT', 'true')
    os.environ.setdefault('DJANGO_SETTINGS_MODULE', '{PATH TO SETTINGS FILE}')

 如下：

 

 给运行的task加日志：

from celery.utils.log import get_task_logger

logger = get_task_logger(__name__)

@app.task
def add(x, y):
    logger.info('Adding {0} + {1}'.format(x, y))
    return x + y

给celery指定日志路径使用参数：--logfile

python2.7  manage.py celery worker -l info --logfile='/export/Logs/celery.log'

默认在不指定worker的数量的时候，数量为内核的个数。可以用参数c来指定。

python2.7  manage.py celery worker -l info --logfile='/export/Logs/celery.log' -c 4