我希望在同一个 DAG 中每天运行一些任务,而另一些每周运行一次,这是否可能或者我应该为不同的计划任务创建不同的 DAG?
我已经看到使用 ShortCircuitOperator
或 AirflowSkipException
的解决方案,我想知道这是一个很好的做法还是绕过 Airflow 限制的方法。最后我的问题是:使用 ShortCircuitOperator
或 AirflowSkipException
是可接受的还是使用新的 DAG 更可取?
最佳答案
这是 this 的副本.
简而言之,配置任务特定的start_date
参数,引入依赖关系,或使用池按运行时/优先级隔离任务。
关于同一 dag 中具有不同时间表的 Airflow 任务,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57188062/