celery异步任务和定时任务

celery定时和异步任务demo：

项目结构：

 

 

1.配置文件conf.py

from celery.schedules import crontab

broker_url = 'redis://127.0.0.1:6379/8'  # broker 任务保存
result_backend = 'redis://127.0.0.1:6379/9'  # result  结果保存

task_serializer = 'json'  # 任务序列化方式
result_serializer = 'json'  # 结果的序列化方式
accept_content = ['json']  # 允许的序列化方式，忽略其他方式
result_expires = None
timezone = 'Asia/Shanghai'  # 时区
enable_utc = False  # 不使用UTC

# 任务执行错误时专用队列
task_routes = {
    'tasks.add': 'low-priority',
}

# 执行任务限速 每分钟允许执行10个任务
task_annotations = {
    'tasks.add': {'rate_limit': '10/m'}
}
# 定时任务
beat_schedule = {
    'ice_tea': {
        'task': 'ice',   # 任务名称
        'schedule': crontab(minute='*/1'),  # 每分钟执行一次
        'args':()  # 任务函数参数
    },
} 

2.main.py

from celery import Celery
​
app = Celery("test")
app.config_from_object('demo.conf')
app.autodiscover_tasks(['demo.tasks'])

3.tasks.py

from .main import app
import time
​
@app.task(name="add")
def test_add(x, y):
    return x + y
​
@app.task(name='sub')
def test_sub(a, b):
    return a * b
​
@app.task(name='ice')
def ice_tea():
    time.sleep(3)
    print('ice_tea end')
    return True

4.test.py

from demo.tasks import test_add
test_add.delay(2,3)   # 消费任务

执行命令：

执行定时任务时, Celery会通过celery beat进程来完成。Celery beat会保持运行, 一旦到了某一定时任务需要执行时, Celery beat便将其加入到queue中. 不像worker进程, Celery beat只需要一个即可。而且为了避免有重复的任务被发送出去，所以Celery beat仅能有一个。

hx@ubuntu:/mnt/hgfs/ubuntu share file/demo_celery$ celery -A demo.main beat

/mnt/hgfs/ubuntu share file/demo_celery$ celery -A demo.main worker -l info