celery介绍和安装
# Celery 是什么
-翻译过来是 芹菜 的意思，跟芹菜没有关系
-框架：服务，python的框架，跟django无关
-能用来做什么
-1 异步任务
-2 定时任务
-3 延迟任务
# 理解celery的运行原理
"""
1) 可以不依赖任何服务器，通过自身命令，启动服务’
2）celery服务为其他项目服务提供异步解决任务需求的
- 注：会有两个服务同时运行，一个是项目服务，一个是celery服务，项目服务将需要异步处理的任务交给celery服务，celery就会在需要时异步完成项目的需求
- 是一个独立运行的服务 | 医院也是一个独立运行的服务
- 正常情况下，人可以完成所有健康情况的动作，不需要医院的参与；但当人生病时，就会被医院接收，解决人生病问题
- 人生病的处理方案交给医院来解决，所有人不生病时，医院独立运行，人生病时，医院就来解决人生病的需求
"""
# celery架构(Broker,backend 都用redis)
-1. 任务中间件Broker(中间件)，其他服务提交的异步任务，放在里面排队
- 需要借助于第三方redis rabbitmq
-2. 任务执行单元worker，真正执行异步任务的进程
- celery提供的
-3. 结果存储backend，结果存储函数的返回结果，存到backend中
- 需要借助于第三方：redis，mysql
# 使用场景
异步执行：解决耗时任务
延迟执行：解决延迟任务
定时执行：解决周期任务
# celery 不支持win，通过eventlet支持在win上运行
celery快速使用
# 1.安装
- 安装完成后会有一个可执行文件celery
pip install celery # 不支持win系统，不代表不可以用
"""
win:pip install eventlet
"""
# 2.快速使用
### 第一步：新建main.py
from celery import Celery
# 提交的异步任务，放在里面
broker = 'redis://127.0.0.1:6379/1'
# 执行完的结果放在这里
backend = 'redis://127.0.0.1:6379/2'
app =Celery('test',broker=broker,backend=backend)
@app.task
def add(a,b):
import time
time.sleep(3)
print('------',a+b)
return a+b
### 第二步：其他程序，提交任务
res =add.delay(5,6) # 原来add的参数，直接放在delay中传入即可
print(res) # f150d8a5-c955-478d-9343-f3b60d0d5bdb
### 第三步：启动worker
#启动worker命令，win需要安装eventlet
win：
-4.x之前的版本
celery worker -A main -l info -P eventlet
-4.x之后
celery -A main worker - l info -P eventlet
mac:
celery -A main worker -l info
### 第四步：worker会执行消息中间件中的任务，把结果存起来
### 第五步：看执行结果，拿到执行的结果
from main import app
from celery.result import AsyncResult
id='51611be7-4914-4bd2-992d-749008e9c1a6'
if __name__ == '__main__':
a=AsyncResult(id=id,app=app)
if a.successful(): # 执行完了
result = a.get() print(result)
elif a.failed():
print('任务失败')
elif a.status == 'PENDING':
print('任务等待中被执行')
elif a.status == 'RETRY':
print('任务异常后正在重试')
elif a.status == 'STARTED':
print('任务已经开始被执行')
celery包结构
project
├── celery_task # celery包
│ ├── __init__.py # 包文件
│ ├── celery.py # celery连接和配置相关文件，且名字必须交celery.py
│ └── tasks.py # 所有任务函数
├── add_task.py # 添加任务
└── get_result.py # 获取结果
### 第一步：新建包celery_task
# 在包下新建【必须叫celery.py】文件，在这个下面写代码
from celery import Celery
broker = 'redis://127.0.0.1:6379/1'
backend = 'redis://127.0.0.1:6379/2'
app = Celery('test', broker=broker, backend=backend, include=['celery_task.order_task', 'celery_task.user_task'])
### 第二步： 在包内部，写task，任务异步任务
-【order_task】
from .celery impport app
import time
@app.task
def add(a,b):
print('-----',a+b)
time.sleep(2)
return a+b
- 【user_task】
from .celery import app
import time
@app.task
def send_sms(phone,code):
print("给%s发送短信成功，验证码为：%s" % (phone, code))
time.sleep(2)
return True
### 第三步：启动worker，包在目录下
celery -A celery_task worker -l info -P eventlet
### 第四步：其他程序，提交任务，被提交到中间件中，等待worker执行，因为worker启动了，就会被worker执行
from celery_task import send_sms
res=send_sms.delay('1999999',8888)
print(res) # 7d39033c-4cc7-4af2-8d78-e62c277db183
### 第五步：worker执行完，结果存到backend中
### 第六步：查看结构
from celery_task import app
from celery.result import AsyncResult
id = '7d39033c-4cc7-4af2-8d78-e62c277db183'
if __name__ == '__main__':
a = AsyncResult(id=id, app=app)
if a.successful(): # 执行完了
result = a.get() #
print(result)
elif a.failed():
print('任务失败')
elif a.status == 'PENDING':
print('任务等待中被执行')
elif a.status == 'RETRY':
print('任务异常后正在重试')
elif a.status == 'STARTED':
print('任务已经开始被执行')
celery执行异步任务，延迟任务，定时任务
# 1.异步任务
任务.delay(参数）
# 2.延迟任务
# 如果没有修改时区，则使用utc时间
任务.apply_async(args=[参数]，eta=时间对象）
# 3.定时任务
- 需要启动beat和启动worker
- beat 定时提交任务的进程 ---> 配置在app.conf.beat_schedule的任务
- worker 执行任务的
- 使用步骤
- 第一步：
# 在celery的py文件中写入
app.conf.timezone = 'Asia/Shanghai'
# 是否使用UTC
app.conf.enable_utc = False
#--celery的配置文件--#
# 任务的定时配置
app.conf.beat_schedule = {
'send_sms':{
'task':'celery_task.user_task.send_sms',
# 'schedule': timedelta(seconds=3),
# 'schedule': crontab(hour=8,day_of_week=1),
'schedule': crontab(hour=9, minute=43), # 每天9点43
'args':('18888888','6666'),
},
}
- 第二步：
# 启动beat
celery -A celery_task beat -l info
- 第三步：
# 启动worker
celery -A celery_task worker -l info -P eventlet
# 注意点
1.启动命令的执行位置，如果是包结构，一定在包这一层
2.include=['celery_task.order_task']，路径从包名下开始导入，因为我们在报的这层执行命令
浙公网安备 33010602011771号