python - Airflow DAG 中的动态任务生成

标签 python airflow

我想使用 Airflow 生成客户报告,我想要一个循环遍历所有客户并启动任务来生成他们的报告的 DAG。客户端列表由 DAG 中的第一个任务收集,不能硬编码。

基本上,我有一个任务是在 python 运算符中使用数据库 Hook 来生成列表。然后对于列表中的每个项目,我想使用 python 运算符执行一个任务,并将该项目作为参数传递给 python 函数。我可以使用某种模式来实现这一目标吗?

最佳答案

Trigger_dag 概念

让在 python 运算符中使用数据库 Hook 生成列表的任务成为 controller dag 中的任务,并将列表中的每个项目传递给 trigger_dag 在参数部分。

您将在 airflow 安装的示例文件夹中找到引用

祝你好运!

关于python - Airflow DAG 中的动态任务生成,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43144802/

相关文章:

ubuntu - 为什么我在登录 apache Airflow 后出现错误?

python - 使用列号重新排列列 - Pythonic 方式

python - 异常TypeError: 'argument list must be a tuple'

apache-spark - 有没有办法在运行 master 的不同服务器上提交 spark 作业

python - 无法使用 python 3.10 启动 Airflow Web 服务器

google-cloud-platform - 更改 Cloud Composer 的 DAG 的默认 GCS 位置

Airflow DAG 并行任务延迟/执行延迟 60 秒

python - 汇总每月值

python - 如何使用子进程来回答 shell 提示?

python - 如何将 O(N*M) 优化为 O(n**2)?