我们可以从 Airflow 变量中动态读取 Airflow schedule_interval 的参数,而不是直接作为 cron 表达式 传递吗?
根据 Airflow 文档,我已通过以下方式
参数 = {
'所有者': 'pavan',
'depends_on_past':错误,
'开始日期':日期时间(2020, 1, 15),
'email_on_failure':是的,
'email_on_retry':错误,
'重试':0,
“on_failure_callback”:notify_email
}
使用 DAG(dag_id=DAG_NAME, default_args=args, schedule_interval='* 1 * * *', catchup=False) 作为 dag:
最佳答案
是的
从技术上讲你可以做到,但它带来了两个问题
SQLAlchemy
后端元数据库。在 DAG 定义脚本中执行此操作意味着这将发生,因为 DAG 会在后台由 Airflow 持续解析。阅读 point 2 hereAirflow
DAG 的 schedule_interval
可能会出现奇怪的行为,并且可能需要您使用 rename the DAG 或(轶事发现)restart the scheduler
来解决该问题关于airflow-scheduler - 我们可以参数化 Airflow schedule_interval 动态读取变量而不是作为 cron 表达式传递吗,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/63271671/