我在使用 airflow 1.9.0 和 CeleryExecutor 使用 redis 作为代理时遇到了一些问题。
我需要运行一项需要 6 个多小时才能完成的工作，而且我正在失去我的 celery worker 。 查看 GitHub 中的 Airflow 代码，有一个硬编码配置:
我怎样才能绕过这个问题？
最佳答案
这可以在 celery_broker_transport_options 部分下的 airflow.cfg 中配置。
查看添加此可能性的提交 https://github.com/apache/incubator-airflow/commit/be79f87f36b6b99649e0a1f6ab92b41640b3beaa
关于redis - 带有redis的 Airflow celery -6小时后超时，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/51251430/