我想使用 Airflow 生成客户报告,我想要一个循环遍历所有客户并启动任务来生成他们的报告的 DAG。客户端列表由 DAG 中的第一个任务收集,不能硬编码。
基本上,我有一个任务是在 python 运算符中使用数据库 Hook 来生成列表。然后对于列表中的每个项目,我想使用 python 运算符执行一个任务,并将该项目作为参数传递给 python 函数。我可以使用某种模式来实现这一目标吗?
最佳答案
Trigger_dag 概念
让在 python 运算符中使用数据库 Hook 生成列表的任务成为 controller dag 中的任务,并将列表中的每个项目传递给 trigger_dag 在参数部分。
您将在 airflow 安装的示例文件夹中找到引用
祝你好运!
关于python - Airflow DAG 中的动态任务生成,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43144802/