Celery是基于python实现的模块,用于执行异步,定时,周期任务的

结构组成是:

　　1, 用户任务app

　　2, 管道booker : 存储任务

　　　redis  rabbitMQ / backend : 存储任务执行结果

　　3, 员工 worker

celery项目目录:

目录Celery_task这个名字可以随意起,但是一定要注意,在这个目录下一定要有一个celery.py文件

1 from celery import Celery
2 
3 celery_task = Celery("task",
4                      broker="redis://127.0.0.1:6379",
5                      backend="redis://127.0.0.1:6379",
6                      include=["Celery_task.task_one","Celery_task.task_two"])
7                      # include 这个参数适用于寻找目录中所有的task
8 
9 celery.py
celery.py
1 from .celery import celery_task
2 import time
3 
4 @celery_task.task
5 def one(x,y):
6     time.sleep(5)
7     return f"task_one {x+y}"
8 
9 task_one
task_one
1 from .celery import celery_task
2 import time
3 
4 @celery_task.task
5 def two(x,y):
6     time.sleep(5)
7     return f"task_two {x+y}"
8 
9 task_two
task_two

这样已经建好了celery项目目录,然后在my_celery中调用

1 from Celery_task.task_one import one
2 from Celery_task.task_two import two
3 
4 one.delay(10,10)
5 two.delay(20,20)
my_celery.py

启动worker的时候不需要再使用文件启动,直接启动Celery_task目录就可以了

celery worker -A Celery_task -l INFO -P eventlet

这样celery就可以自动通过include这个参数去检索当前目录下的所有task

 

一, celery 异步任务

 1 from celery import Celery
 2 import time
 3 
 4 # 创建一个Celery实例,这就是我们用户的应用app
 5 my_task = Celery("tasks", boker="redis://127.0.0.1:6379", backend="redis://127.0.0.1:6379")
 6 
 7 # 为应用创建任务
 8 @my_task.task
 9 def func1(x,y):
10     time.sleep(15)
11     return x+y
s1.py
1 from celery01.s1 import func1
2 
3 
4 # 将任务交给Celery的worker执行
5 res = func1.delay(2,4)
6 
7 # 返回任务id
8 print(res.id)
s2.py
 1 from celery.result import AsyncResult
 2 from celery01.s1 import my_task
 3 
 4 # 异步获取任务返回值
 5 async_task = AsyncResult(id="31ec65e8-3995-4ee1-b3a8-1528400afd5a", app=my_task)
 6 
 7 # 判断异步任务是否执行成功
 8 if async_task.successful():
 9     result = async_task.get()
10     print(result)
11 else:
12     print("任务还未执行完毕")
s3.py

以上文件中,最终执行任务是在s1.py中,所以s1.py是worker

执行s2.py得到了一个字符串,这个字符串就是异步任务的ID

然后通过s3.py修改异步任务的ID来获取任务返回的结果

然后这样就简单完成了一个celery的异步任务

如何启动 :

　　不同的操作系统,启动方式也不同

　　Linux : celery worker -A s1 -l INFO

　　Windows : celery4.0已经不再对windows操作系统提供支持了,所以需要我们自己装一个第三方库,强制让其在Windows上支持 : pip3 install eventlet

　　　　celery worker -A s1 -l INFO -P eventlet

 

二, celery 定时任务

还是使用Celery_task这个示例,修改一个my_celery中的内容

 1 from Celery_task.task_one import one
 2 from Celery_task.task_two import two
 3 
 4 # one.delay(10,10)
 5 # two.delay(20,20)
 6 
 7 # 定时任务我们不在使用delay这个方法了,delay是立即交给task 去执行
 8 # 现在我们使用apply_async定时执行
 9 
10 #首先我们要先给task一个执行任务的时间
11 import datetime,time
12 # 获取当前时间 此时间为东八区时间
13 ctime = time.time()
14 # 将当前的东八区时间改为 UTC时间 注意这里一定是UTC时间,没有其他说法
15 utc_time = datetime.datetime.utcfromtimestamp(ctime)
16 # 为当前时间增加 10 秒
17 add_time = datetime.timedelta(seconds=10)
18 action_time = utc_time + add_time
19 
20 # action_time 就是当前时间未来10秒之后的时间
21 #现在我们使用apply_async定时执行
22 res = one.apply_async(args=(10,10),eta=action_time)
23 print(res.id)
24 #这样原本延迟5秒执行的One函数现在就要在10秒钟以后执行了
25 
26 my_celery
my_celery

 

三, 周期任务

对Celery_task中的celery.py进行修改

 1 from celery import Celery
 2 from celery.schedules import crontab
 3 
 4 celery_task = Celery("task",
 5                      broker="redis://127.0.0.1:6379",
 6                      backend="redis://127.0.0.1:6379",
 7                      include=["Celery_task.task_one","Celery_task.task_two"])
 8 
 9 #我要要对beat任务生产做一个配置,这个配置的意思就是每10秒执行一次Celery_task.task_one任务参数是(10,10)
10 celery_task.conf.beat_schedule={
11     "each10s_task":{
12         "task":"Celery_task.task_one.one",
13         "schedule":10, # 每10秒钟执行一次
14         "args":(10,10)
15     },
16     "each1m_task": {
17         "task": "Celery_task.task_one.one",
18         "schedule": crontab(minute=1), # 每一分钟执行一次
19         "args": (10, 10)
20     },
21     "each24hours_task": {
22         "task": "Celery_task.task_one.one",
23         "schedule": crontab(hour=24), # 每24小时执行一次
24         "args": (10, 10)
25     }
26 
27 }
28 
29 #以上配置完成之后,还有一点非常重要
30 # 不能直接创建Worker了,因为我们要执行周期任务,所以首先要先有一个任务的生产方
31 # celery beat -A Celery_task
32 # celery worker -A Celery_task -l INFO -P eventlet
33 
34 celery.py
celery.py

创建worker的方式并没有发生变化,但是需要注意的是,每隔一定时间后需要生产出来任务给worker去执行,这里需要一个生产者beat

 celery beat -A Celery_task  #创建生产者 beat 你的 schedule 写在哪里,就要从哪里启动

 celery worker -A Celery_task -l INFO -P eventlet

 创建worker之后,每10秒就会由beat创建一个任务给Worker去执行