celery

 

 

example1

work.py

from celery import Celery
import time

#创建一个Celery实例,这就是我们用户的应用app
my_task = Celery("tasks", broker="redis://127.0.0.1:8899", backend="redis://127.0.0.1:8899")

# 为应用创建任务,func1
@my_task.task
def func1(x, y):
    time.sleep(15)
    return x + y

 

products.py

from work import func1

# 将任务交给Celery的Worker执行
res = func1.delay(2,4)

#返回任务ID
print(res.id)

 

check.py

from celery.result import AsyncResult
from work import my_task

# 异步获取任务返回值
async_task = AsyncResult(id="41252363-81be-4aaa-ab40-9322f94feb0c",app=my_task)# 这个id是product返回的id

# 判断异步任务是否执行成功
if async_task.successful():
    #获取异步任务的返回值
    result = async_task.get()
    print(result)
else:
    print("任务还未执行完成")

 

启动任务

在windows中

(celery_learn) D:\fight\celery_ex\ex1>celery worker -A work -l INFO -P eventlet

#如果不加   -P eventlet
会报错: ValueError: not enough values to unpack (expected 3, got 0)

在linux中可以不用加

 

之后启动product和check

 

 

 

 example2

 

 

example3

 celery的项目目录

目录Celery_task这个名字可以随意起,但是一定要注意在这个目录下一定要有一个celery.py这个文件

 

 

 celery.py

from celery import Celery


celery_task = Celery("task",
                     broker="",
                     backend="",
                     include=["Celery_task.task_one","Celery_task.task_two"])
#include 这个参数适用于寻找目录中所有的task

 

 task_one

from .celery import celery_task
import time

@celery_task.task
def one(x,y):
    time.sleep(5)
    return "task_one {}".format(x+y)

 

 

 task_two

from .celery import celery_task
import time

@celery_task.task
def two(x,y):
    time.sleep(3)
    return "task_two,{}".format(x-y)

 

 这样Celery项目目录结构就已经做好了然后再 my_celery中调用

 

 my_celery

from Celery_task.task_one import  one
from Celery_task.task_two import  two

one.delay(1,2)
two.delay(10,5)

 

 PS:启动Worker的时候无需再使用文件启动,直接启动你的Celery_task目录就行

celery worker -A Celery_task -l INFO -P eventlet

这样celery就可以自动的去检索当前目录下所有的task了,通过Include这个参数逐一去寻找

 

 

example4   定时任务

 

 

仍然使用example3的文件

其中更改my_celery

 

from Celery_task.task_one import one
from Celery_task.task_two import two

# one.delay(10,10)
# two.delay(20,20)

# 定时任务我们不在使用delay这个方法了,delay是立即交给task 去执行
# 现在我们使用apply_async定时执行

#首先我们要先给task一个执行任务的时间
import datetime,time
# 获取当前时间 此时间为东八区时间
ctime = time.time()
# 将当前的东八区时间改为 UTC时间 注意这里一定是UTC时间,没有其他说法
utc_time = datetime.datetime.utcfromtimestamp(ctime)
# 为当前时间增加 10 秒
add_time = datetime.timedelta(seconds=10)
action_time = utc_time + add_time

# action_time 就是当前时间未来10秒之后的时间
#现在我们使用apply_async定时执行
res = one.apply_async(args=(10,10),eta=action_time)
print(res.id)
#这样原本延迟5秒执行的One函数现在就要在10秒钟以后执行了

 

example5   周期任务

example3 的基础上修改celery

from celery import Celery
from celery.schedules import crontab

celery_task = Celery("task",
                     broker="redis://127.0.0.1:6379",
                     backend="redis://127.0.0.1:6379",
                     include=["Celery_task.task_one","Celery_task.task_two"])

#我要要对beat任务生产做一个配置,这个配置的意思就是每10秒执行一次Celery_task.task_one任务参数是(10,10)
celery_task.conf.beat_schedule={
    "each10s_task":{
        "task":"Celery_task.task_one.one",
        "schedule":10, # 每10秒钟执行一次
        "args":(10,10)
    },
    "each1m_task": {
        "task": "Celery_task.task_one.one",
        "schedule": crontab(minute=1), # 每一分钟执行一次
        "args": (10, 10)
    },
    "each24hours_task": {
        "task": "Celery_task.task_one.one",
        "schedule": crontab(hour=24), # 每24小时执行一次
        "args": (10, 10)
    }

}

#以上配置完成之后,还有一点非常重要
# 不能直接创建Worker了,因为我们要执行周期任务,所以首先要先有一个任务的生产方
# celery beat -A Celery_task
# celery worker -A Celery_task -l INFO -P eventlet

创建Worker的方式并没有发行变化,但是这里要注意的是,每间隔一定时间后需要生产出来任务给Worker去执行,这里需要一个生产者beat

celery beat -A Celery_task  #创建生产者 beat 你的 schedule 写在哪里,就要从哪里启动

 

https://www.jianshu.com/p/027538ffb8c1