airflow - 在 Airflow 中调度 dag 运行

标签 airflow airflow-scheduler

有关于 Airflow 的一般查询

是否可以根据另一个 dag 文件的计划安排一个 dag 文件。

例如,如果我有 2 个 dag,即 dag1 和 dag2。我想看看是否可以在每次 dag1 成功时运行 dag2,否则 dag2 不会运行。这在 Airflow 中可能吗?

最佳答案

您需要添加 TriggerDagRunOperator dag1 的末尾,并将 dag2 的时间表设置为 None

此外,如果要处理dag1的输出的多种情况,可以添加 BranchPythonOperator根据其输出创建多个路径。例如,您可以将其设置为在成功时执行 TriggerDagRunOperator,或者让您“警告!DAG1 中的任务失败!”与 SlackAPIPostOperator如果抛出错误(或您想要构建的任何其他逻辑)。

如果您不关心多种结果,您也可以只使用 ShortCircuitOperator在 TriggerDagRunOperator 之前,以防止其基于 dag1 输出运行。

关于airflow - 在 Airflow 中调度 dag 运行,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50611039/

相关文章:

airflow - Apache Airflow - 用户管理和 Multi-Tenancy

python - 如何将参数传递给 Airflow on_success_callback 和 on_failure_callback

Airflow 调度 : how to run initial setup task only once?

Airflow - 无法从工作人员获取日志文件。 404 客户端错误 : NOT FOUND for url

python - Airflow ExternalTask​​Sensor 一直在戳另一个 dag

python - Airflow 任务信息 - 任务退出并返回代码 -9

mysql - 如何将 AWS EC2 上设置的 Airflow 正确连接到 RDS?

airflow - 如何让 Airflow 跳过时间表?

postgresql - 为什么我的 Airflow 网络服务器无法正确初始化?