如何限制可以同时运行的特定 Celery 任务的实例数?
我有一个处理大文件的任务。我遇到了一个问题,用户可能会启动多个任务,导致服务器在尝试一次处理太多文件时耗尽 CPU 和内存。我想确保在任何给定时间只运行这种类型任务的 N 个实例,并且其他任务将在调度程序中排队,直到其他任务完成。
我看到有一个 rate_limit任务装饰器中的选项,但我认为这不是我想要的。如果我正确理解文档,这只会限制任务启动的速度,但不会限制运行的任务总数,所以这会使我的服务器崩溃得更慢......但它仍然会尽管如此还是崩溃了。
最佳答案
您必须设置额外的队列并为其设置所需的并发级别。来自 Routing Tasks :
# Old config style
CELERY_ROUTES = {
'app.tasks.limited_task': {'queue': 'limited_queue'}
}
或
from kombu import Exchange, Queue
celery.conf.task_queues = (
Queue('default', default_exchange, routing_key='default'),
Queue('limited_queue', default_exchange, routing_key='limited_queue')
)
并启动额外的工作人员,只服务于有限队列:
$ celery -A celery_app worker -Q limited_queue --loglevel=info -c 1 -n limited_queue
然后您可以使用 Flower 检查一切是否顺利运行或检查命令:
$ celery -A celery_app worker inspect --help
关于python - 如何通过名称限制运行的 Celery 任务的最大数量,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34830964/