python - 给定一个 Redis Broker 和一个数据库后端，Celery Task 请求首先写入哪里？

Question

有没有办法询问 redis、celery 或 postgres，以便在任务完成之前跟踪任务请求？

配置:

BROKER_URL = "redis://localhost:6379"
CELERY_RESULT_BACKEND = "django-db"

from celery import Celery
from django.conf import settings

app = Celery(
   "someapp",
)

现在，过了一会儿，表 django_celery_results_taskresult 有了任务，包括它的 id、task_id、task_name 和结果，等等。

  id  |             task_name             | status  |           date_done
------+-----------------------------------+---------+-------------------------------
 2162 | someapp.pssystem.tasks.initialize | SUCCESS | 2019-07-16 16:55:41.101537-07
 2163 | someapp.pssecurity.tasks.flush    | SUCCESS | 2019-07-16 17:11:45.599822-07
 2164 | someapp.pssecurity.tasks.flush    | SUCCESS | 2019-07-16 17:18:49.798436-07
 2165 | someapp.pssecurity.tasks.flush    | SUCCESS | 2019-07-16 17:26:45.349578-07
 2166 | someapp.pssecurity.tasks.flush    | SUCCESS | 2019-07-16 17:31:49.27337-07

但这只是在任务成功完成或出现错误之后。我实际上是在启动长时间运行的批处理，这很容易需要 2-3 分钟，我希望能够确认任务已启动并在完成前轮询其状态。

如果我进入 redis-cli，那里的情况也不是很清楚，这看起来与 celery worker 的关系比其他任何事情都多:

127.0.0.1:6379> select 0
OK
127.0.0.1:6379> keys *celery*
1) "_kombu.binding.celery.pidbox"
2) "_kombu.binding.celeryev"
3) "_kombu.binding.celery"
127.0.0.1:6379> smembers "_kombu.binding.celeryev"
1) "worker.#\x06\x16\x06\x16celeryev.026d2bed-ebc8-4c8b-a8c1-732cd847b381"
2) "worker.#\x06\x16\x06\x16celeryev.2f6efd77-f931-4c01-b45f-000f3ab9f5bd"
3) "worker.#\x06\x16\x06\x16celeryev.c0da9ba7-31fd-4a6b-be62-685423c7b542"
4) "worker.#\x06\x16\x06\x16celeryev.09ece5fd-3a45-4912-9c0f-ea1f9e67c930"
5) "worker.#\x06\x16\x06\x16celeryev.ad784e1f-47ad-402f-8359-295c35138fba"
6) "worker.#\x06\x16\x06\x16celeryev.633275dc-a090-4c2f-9d18-1d6b2d00f8e5"
7) "worker.#\x06\x16\x06\x16celeryev.2ee3da5b-1d65-4f8c-b652-8907af7b6eb1"
8) "worker.#\x06\x16\x06\x16celeryev.617f6218-9382-4965-8d3e-c1ed70cf96e4"
9) "worker.#\x06\x16\x06\x16celeryev.64c9beef-2d35-418c-a562-b0a6f0c4054e"
127.0.0.1:6379> smembers "_kombu.binding.celery"
1) "celery\x06\x16\x06\x16celery"

版本:

postgres                  9.6
celery                    4.3.0
Django                    2.2.3
django-celery-results     1.0.4

Answer 1

多种方式监控任务。

1. 您可以使用flower 来监控任务。它是 celery 分布式任务队列的实时监视器和 Web 管理员。 https://github.com/mher/flower

2. 或者您使用 celery API获取任务信息。

   result = app.AsyncResult(task_id)