我是airflow和celery的新手,我现在已经画完了dag,但是我想在同一子网的两台电脑上运行任务,我想知道如何修改airflow.cfg。一些例子可能会更好。感谢任何答案orz。
最佳答案
Airflow documentation很好地涵盖了这一点:
首先,您需要一个 celery 后端。这可以是例如 Redis 或 RabbitMQ。然后,您的 airflow.cfg 中的执行器参数应设置为 CeleryExecutor
。
然后,在 airflow.cfg 的 celery
部分,将 broker_url
设置为指向您的 celery 后端(例如 redis://your_redis_host:your_redis_port/1) .
将 celery_result_backend
指向一个 sql 数据库(您可以使用与主 Airflow 数据库相同的数据库)。
然后,在您的 worker 机器上简单地启动 airflow worker,您的工作应该在两台机器上开始。
关于python - 如何在 celery 中使用 Airflow ,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45129192/