celery 处理大量消息的分布式系统:(1)专注于实时处理的异步任务队列;(2)支持任务调度。
application(task producer)
broker(task queue)
celery beat(task scheduler)
worker(task consumer)
result(数据库或redis)
a 生产消息至 b 并由 c 调度给 w 消费 完成后 存入r
使用场景
异步任务:耗时任务给celery一步执行。ep:发送短信/邮件、消息推送、音视频处理
定时任务:crontab。ep:每日数据统计
celery分布式系统,实时处理的异步任务队列,也支持任务调度。
使用场景:
1、异步任务:将耗时任务提交给celery去异步执行,比如发短信/邮件、消息推送、音频处理等
2、执行定时任务:类似于crontab,比如每日数据统计
Celery架构图
celery介绍
异步执行耗时任务和执行定时任务
celery的架构图
Celery使用场景