python - 如何在 celery 中使用 Airflow

标签 python airflow

我是airflow和celery的新手,我现在已经画完了dag,但是我想在同一子网的两台电脑上运行任务,我想知道如何修改airflow.cfg。一些例子可能会更好。感谢任何答案orz。

最佳答案

Airflow documentation很好地涵盖了这一点:

首先,您需要一个 celery 后端。这可以是例如 Redis 或 RabbitMQ。然后,您的 airflow.cfg 中的执行器参数应设置为 CeleryExecutor

然后,在 airflow.cfg 的 celery 部分,将 broker_url 设置为指向您的 celery 后端(例如 redis://your_redis_host:your_redis_port/1) . 将 celery_result_backend 指向一个 sql 数据库(您可以使用与主 Airflow 数据库相同的数据库)。

然后,在您的 worker 机器上简单地启动 airflow worker,您的工作应该在两台机器上开始。

关于python - 如何在 celery 中使用 Airflow ,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45129192/

相关文章:

python - Airflow 中的成功邮件

Python 终端菜单?终端着色?终端进度显示?

python - 有没有办法清除 django.db.connection.queries?

python - 网页抓取 : finding element after a DOM Tree change

Airflow:网络服务器未找到新的 DAG

kubernetes - 在 KubernetesPodOperator 中共享一个卷?

python - Fast API Python 每个请求的特殊日志参数

python - 从 python 中的列表生成一个随机的、等概率的组合

python - Web服务在Airflow Docker容器中不起作用

python - 有什么方法可以找到 DAG 中任意随机任务所花费的时间吗?