celery+redis的使用（异步任务、定时任务）

目录

• celery理解
• 安装celery+redis
• 异步任务使用
  • 1.基础使用
    • 新建task.py文件
    • 在项目文件目录下执行python交互式编程
    • 在项目文件目录下创建worker消费任务
  • 2.使用导入配置文件的方式
    • 新建python包文件目录celery_study
    • 新建配置文件celery_config.py
    • 新建task_add.py文件书写需要异步的逻辑
    • 终端启动我们的worker
    • 新建main.py文件并执行
• 定时任务
  • 修改celery_config.py
  • 1.分别启动worker和beat
    • 启动worker
    • 启动定时任务配置
  • 2.同时启动worker和beat

celery理解

celery是典型的生产者+消费者的模式，生产者生产任务并加入队列中，消费者取出任务消费。多用于处理异步任务或者定时任务。

安装celery+redis

pip install -i https://pypi.douban.com/simple celery
pip install -i https://pypi.douban.com/simple redis

异步任务使用

1.基础使用

新建task.py文件

from celery import Celery

app = Celery('demo', backend='redis://localhost:6379/1', broker='redis://localhost:6379/2')


@app.task
def add(x, y):
    return x + y

此时相当于注册了celery app

在项目文件目录下执行python交互式编程

>>> from task import add
>>> res = add.delay(3,5)
>>> res.ready()
False
>>> res.get()

此处相当于是生产者，生产任务并交给broker

• 使用add.delay(3,5)异步处理add函数，或者使用add.apply_async((3,5))
• res.ready()可以查看任务是否完成
• res.get()任务如果完成，可以获得任务返回结果；否则，一直阻塞，直到任务完成，然后返回结果

在项目文件目录下创建worker消费任务

celery -A task worker --loglevel=info

• task 为注册celery app的py文件名字
• 注意celery版本不同命令不同的问题
  
  上面图片config中我们可以看到celery app名称以及broker和backend的设置
  并且这里立马消费了我们开始扔进redis的任务，可以回到我们的交互式编程查看结果已经被返回回来
  此时我们再扔进一个任务，可以看到结果可以马上返回

>>> res = add.delay(5,6)
>>> res.ready()
True
>>> res.get()
11
>>>

2.使用导入配置文件的方式

新建python包文件目录celery_study

在__init__.py文件中，我们注册celery app

from celery import Celery

app = Celery('demo')
# 通过celery实例获取配置
app.config_from_object('celery_study.celery_config')

新建配置文件celery_config.py

BROKER_URL = 'redis://localhost:6379/1'
CELERY_RESULT_BACKEND = 'redis://localhost:6379/2'

CELERY_TIMEZONE = 'Asia/Shanghai'

CELERY_IMPORTS = (
    'celery_study.task_add'
)

新建task_add.py文件书写需要异步的逻辑

import time
from celery_study import app


@app.task
def add(x, y):
    time.sleep(3)
    return x + y

终端启动我们的worker

celery -A celery_study worker --loglevel=info

同样也可以看到celery正常启动

新建main.py文件并执行

from celery_study import task_add

task_add.add.delay(8, 4)
print('end...')

可以看到控制台输出了end...
在worker终端界面输出了

定时任务

修改celery_config.py

from datetime import timedelta
from celery.schedules import crontab

CELERYBEAT_SCHEDULE = {
    # 每10s执行一次
    'task1': {
        'task': 'celery_study.task_add.add',
        'schedule': timedelta(seconds=10),
        'args': (2, 8)
    },
    # 每天15:00执行
    'task2': {
        'task': 'celery_study.task_add.add',
        'schedule': crontab(hour=15, minute=0),
        'args': (9, 9)
    }
}

添加定时任务

1.分别启动worker和beat

启动worker

celery -A celery_study worker --loglevel=info

启动定时任务配置

celery -A celery_study beat --loglevel=info

2.同时启动worker和beat

celery -A celery_study worker --beat --loglevel=info