无论下游发生什么情况,Airflow 任务都会运行

标签 airflow airflow-scheduler

我一次完成了三项任务。

首先运行任务 A。如果任务 A 成功,则任务 B 运行。

我的任务 C 在任务 B 之后运行,但它不依赖于任务 B 或任务 A 的成功或失败。

无论任务 A 和 B 发生什么情况,任务 C 都需要运行。但是,它需要在任务 A 和 B 完成后运行。

有什么想法吗?

最佳答案

要让某个任务在其他任务完成后运行,但无论其执行结果如何,请将 trigger_rule 参数设置为 all_done,如下所示:

my_task = MyOperator(task_id='my_task',
                     trigger_rule='all_done'

请参阅trigger rule documentation更多选择

关于无论下游发生什么情况,Airflow 任务都会运行,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45472121/

相关文章:

airflow - 我如何在 Airflow 中使用 --conf 选项

python - 仅当在 python 中使用 DAG 的 AWS athena 表中有新分区/数据可用时,如何触发 Airflow 任务?

python - 使用 Airflow 将 mysql 数据加载到 bigquery 的 dag 出现 "Invalid arguments passed"错误

airflow - Airflow 动态DAG和任务ID

python - 如何更改 Airflow web ui 的 dag bag 文件夹?

Airflow 1.10.3 - 空白 "Recent Tasks"和 "DAG Runs"

通过 Airflow 创建的 Kubernetes pod 保持运行状态

python - Airflow :XCOM 插入期间的 Pickle 深度递归

python - 使用airflow插件导入外部python函数

airflow - 如何在调度间隔为无的 Airflow 中为 future 调度 dag 触发器?