python - 如何在每个任务都有单独的队列的情况下运行 celerybeat?

标签 python django celery celerybeat

我有一个包含多个 celerybeat 任务的 Django 项目,当我有多个带有单独队列的 celerybeat 任务时,我遇到了一个问题,所以我是否有可能一次运行所有这些任务,运行的最佳实践是什么这些?

from __future__ import absolute_import, unicode_literals
import os
from celery import Celery
from celery import Celery
from celery.schedules import crontab


os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'projectDemon.settings')
app = Celery('projectDemon')
app.config_from_object('django.conf:settings', namespace='CELERY')
app.autodiscover_tasks()

@app.on_after_configure.connect
def setup_periodic_tasks(sender, **kwargs):

    sender.add_periodic_task(
        crontab(minute=30, hour='7'),
        task1.s('Checking task1 !'),
                    queue= 'task1',
                    options={
                        'queue': 'task1',
                        'routing_key': 'task1'}
    )
    sender.add_periodic_task(
        crontab(minute=00, hour='6'),
        task2.s('Checking task2 !'),
                queue= 'task2',
                options={
                    'queue': 'task2',
                    'routing_key': 'task2'}
    )
    sender.add_periodic_task(
        crontab(
        minute='*/1',  # run every minute
    ),
        task3.s('Checking task3 !'),
            queue= 'task3',
            options={
                'queue': 'task3',
                'routing_key': 'task3'}

        )


@app.task
def task1(arg):
    print(arg)



@app.task
def task2(arg):
    print(arg)



@app.task
def task3(arg):
    print(arg)

最佳答案

我处理这个问题的方法是定义 task_routes我在其中定义将使用特定队列的每个任务。我有某些任务总是会使用特定的队列,无论它是从整个应用程序触发还是通过 celerybeat 触发。 (请注意,任何未在任务路由中定义的任务都将使用默认队列)。

从那里,我简单地将 celerybeat 定义为调度程序来调用特定任务(不将队列作为变量传递)。

我对此解决方案没有任何问题,但如果您解释一下您的具体问题,我可能能够提供更好的帮助。

关于python - 如何在每个任务都有单独的队列的情况下运行 celerybeat?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52554310/

相关文章:

python - 有什么办法可以让 basemap 不显示情节吗?

Python selenium 测试卡在 urlopen 中

python - Celery 正确的任务组链

python - 读取一些文件并通过 setter 传递给构造函数

Python,将CSV文件转换为SQL表

python - "RuntimeError: working outside of application context"用于配置模块

python - Django 表单前缀与表单集

python - Mongoengine,只检索一些 MapField

python - 如何将 celery 应用程序与 Task 类绑定(bind)?

python - 分布式任务队列(例如 Celery)与 crontab 脚本