Celery-分布式任务队列
简介
Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，并且提供维护这样一个系统的必须工具。它是一个专注于实现处理的任务队列，同时也支持任务调度。
当然在Celery在执行任务时需要通过一个中间件来接收和发送任务消息，以及存储任务结果，一般会使用rabbitMQ 或者 Redis。
优点
- 简单：一个熟悉了celery的工作流程后，配置和使用还是比较简单的
- 高可用：当任务执行失败或执行过程中发生连接中断，celery会自动尝试重新执行任务
- 快速：一个单进程的celery每分钟可处理上百万个任务
- 灵活：几乎celery的各个组件都可以被扩展及自定制
celery工作流程图如下
也许现在会有人问，何为任务队列？
任务队列
任务队列是一种在线程或机器间分发任务的机制。
消息队列的输入是工作的一个单元，称为任务，独立的职程(Worker)进程持续监视队列中是否有需要处理的新任务。
Celery是消息通信，通常使用中间人(Broker)在客户端和职程间斡旋。这个过程从客户端向队列添加消息开始，之后中间人把消息派送给职程。
所以在使用之前，我们需要安装好环境才可
Celery的安装使用
Celery的默认broker是RabbitMQ, 仅需配置一行就可以
broker_url = 'amqp://guest:guest@localhost:5672//'
事先的安装好rabbitMQ
如果rabbitMQ安装不上也可以使用Redis作为broker
安装redis组件
$ pip install -U "celery[redis]"
配置
app.conf.broker_url = 'redis://localhost:6379/0' redis://:password@hostname:port/db_number app.conf.result_backend = 'redis://localhost:6379/0'
一切准备就绪后，开始使用celery
安装celery模块
$ pip install celery
那么开始创建一个任务文件tasks.py测试一下吧
from celery import Celery
app = Celery('tasks',
broker='redis://localhost',
backend='redis://localhost')
@app.task
def add(x,y):
print("running...",x,y)
return x+y
# 注：localhost指的是本机，如果想要连远程主机，需要填写要链接的主机IP地址
启动Celery Worker来开始监听并执行任务
$ celery -A tasks worker --loglevel=info
去调用任务
重新打开一个终端去执行
>>> from tasks import add >>> add.delay(4,5)
这时我们会得到一个结果，如果我们这样写，就不会去等待结果的输入，而去做其他事情了
> result = add.delay(4, 5)
我们要查看返回是否已经完成处理任务
>>> result.ready() False
通过get去取值
>>> result.get() 9
与Django配合使用
首先建立一个项目，目录如下
- proj/
- proj/__init__.py
- proj/settings.py
- proj/urls.py
- manage.py
在与settings同等级的目录下建立一个celery.py文件，内容如下
from __future__ import absolute_import, unicode_literals
import os
from celery import Celery
# set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'proj.settings')
app = Celery('proj')
# Using a string here means the worker don't have to serialize
# the configuration object to child processes.
# - namespace='CELERY' means all celery-related configuration keys
# should have a `CELERY_` prefix.
app.config_from_object('django.conf:settings', namespace='CELERY')
# Load task modules from all registered Django app configs.
app.autodiscover_tasks()
@app.task(bind=True)
def debug_task(self):
print('Request: {0!r}'.format(self.request))
# 需要注意的是'proj.settings和app = Celery('proj')是随你创建项目的名字不同而做修改
在同settings同等目录下的__init__中填写如下内容
from __future__ import absolute_import, unicode_literals # This will make sure the app is always imported when # Django starts so that shared_task will use this app. from .celery import app as celery_app __all__ = ['celery_app']
然后就是在你自己的app里创建一个tasks.py填写你的任务，例如
# Create your tasks here
from __future__ import absolute_import, unicode_literals
from celery import shared_task
@shared_task
def add(x, y):
return x + y
@shared_task
def mul(x, y):
return x * y
然后在Django里的view函数中去执行调用即可
from django.shortcuts import render,HttpResponse
from app01 import tasks
# Create your views here.
from celery.result import AsyncResult
def index(request):
res = tasks.add.delay(5,5)
print(res)
return HttpResponse(res.task_id) # 返回的ID
def task_res(request):
result = AsyncResult(id="")
return HttpResponse(result.status)
更多详细用法请见 http://docs.jinkan.org/docs/celery/getting-started/introduction.html#id17
