同一 dag 中具有不同时间表的 Airflow 任务

标签 airflow

我希望在同一个 DAG 中每天运行一些任务,而另一些每周运行一次,这是否可能或者我应该为不同的计划任务创建不同的 DAG?

我已经看到使用 ShortCircuitOperatorAirflowSkipException 的解决方案,我想知道这是一个很好的做法还是绕过 Airflow 限制的方法。最后我的问题是:使用 ShortCircuitOperatorAirflowSkipException 是可接受的还是使用新的 DAG 更可取?

最佳答案

这是 this 的副本.

简而言之,配置任务特定的start_date参数,引入依赖关系,或使用池按运行时/优先级隔离任务。

关于同一 dag 中具有不同时间表的 Airflow 任务,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57188062/

相关文章:

python - 在 Airflow 中创建动态工作流的正确方法

postgresql - Airflow sql炼金术池大小被忽略

Airflow中使用的MySQL出现了很多死锁

redis - 如何在不使用mysql的情况下在airflow中使用CeleryExecutor

python - 由于 gunicorn, Airflow 启动失败

python - on_failure_callback 多次触发

当 DAG A 当天完成后,Airflow DAG B 运行多次

Airflow Jinja 渲染模板

python-3.x - Airflow 日志 BrokenPipeException

node.js - 如何在云函数中的config.json文件中提及.csv和.json文件格式来触发DAG