python - 运行更多任务的 Celery 任务

Question

我正在使用 celerybeat 启动一项主要任务，该任务启动了许多次要任务。我已经写好了这两个任务。

有没有办法轻松做到这一点？ Celery 是否允许在任务中运行任务？

我的例子:

@task
def compute(users=None):
    if users is None:
        users = User.objects.all()

    tasks = []
    for user in users:
        tasks.append(compute_for_user.subtask((user.id,)))

    job = TaskSet(tasks)
    job.apply_async() # raises a IOError: Socket closed

@task
def compute_for_user(user_id):
    #do some stuff

compute 从 celerybeat 调用，但在尝试运行 apply_async 时会导致 IOError。有什么想法吗？

Answer 1

回答您的开场问题:从 2.0 版开始，Celery 提供了一种从其他任务开始任务的简单方法。您所说的“次要任务”就是所谓的“子任务”。请参阅 Sets of tasks, Subtasks and Callbacks 的文档，@Paperino 很乐意链接到。

对于 3.0 版，Celery 改为使用 groups对于这种和其他类型的行为。

您的代码表明您已经熟悉此界面。您的实际问题似乎是，“当我尝试运行我的一组子任务时，为什么会收到 'Socket Closed' IOError？”我认为没有人可以回答这个问题，因为您没有提供有关您的程序的足够信息。您的摘录不能按原样运行，因此我们无法自行检查您遇到的问题。请发布随 IOError 提供的堆栈跟踪，如果运气好的话，可以帮助您解决崩溃问题的人会出现。