python - 如何在 Airflow 中组合多个 DAG

标签 python python-3.x airflow directed-acyclic-graphs

我真的需要知道如何使用 Airflow 让多个 DAG 相互调用(例如 DAG_1 >> DAG_2),类似于它如何使用上游/下游运算符在 DAG 中运行任务。我需要知道如何进行设置,以便 Airflow 运行 DAG_1,然后在 DAG_1 成功完成后运行 DAG_2

我最好将 DAG_1DAG_2 放在 Airflow dag 文件夹中的单独文件中,然后将 DAG_2 调用 DAG_1 作为其运行开始时的前置步骤,或者有一个单独的“主”DAG,它创建并运行一个 DAG,其中每个任务都是另一个 DAG 而不是任务运算符。

如果有人知道怎么做,请告诉我,我真的需要一些帮助。如果有人知道如何做到这一点,我也将接受在同一文件中制作和连接两个单独的 DAG,但最好将链接的 DAG 放在不同的文件中。

预先感谢您的协助。

最佳答案

你可以使用TriggerDagRunOperator它以 DAG id 作为参数并触发它

看官方例子here

关于python - 如何在 Airflow 中组合多个 DAG,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58065649/

相关文章:

python - 子进程 python filenotfounderror : [winerror 2]

Python-查找具有唯一数字的最接近的更大数字

python - 使用 Airflow 将文件从本地系统上传到 Google Bucket - Python

nginx - Airflow + Nginx 设置给 Airflow 404 = 很多圈子

python - PythonOperator 内的 Airflow PythonOperator

python - 日差,Python 3.6

python - 用之前的数字替换 Pandas 数据框中的未知数字

python - 如何增加蛇的长度,使其遵循前面的前一个矩形/长度,而不是直接在头部后面

python - 使用Python ping 网站时必须指定IP 地址

python - 获取具有两个特定关键字的行