python - celery 内存管理

标签 python celery

我有 3 个 celery 节点,每个节点运行 6 到 8 个 worker ,我的任务往往会使用大量内存。似乎当任务完成时,它们并没有释放内存。有没有办法告诉工作进程在执行完成后停止并重新启动,或者改进 celery 的垃圾收集?

最佳答案

对于这些 worker ,您可以设置 max-tasks-per-child-setting一个。

关于python - celery 内存管理,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/5928370/

相关文章:

python - 加载模型时出现意外错误: problem in predictor - ModuleNotFoundError: No module named 'torchvision'

python - pyspark 将 twitter json 流式传输到 DF

python - matplotlib:在散点图上方绘制直方图

python - 为什么如果 if 语句没有 else block ,这段代码就无法工作? - Python

python - 无法从 flower.command 导入名称 FlowerCommand

python - 升级 python 图像库 (PIL) 时,它告诉我 "JPEG support not available"

python - celery 没有看到 redis 代理

python - Celery-Django 作为守护进程 : Settings not found

redis - 具有 Redis 代理的 celery worker 无法执行 Django 任务

django - 如何让 amazon SQS 与 Django celery 配合使用