prefect - 向 Prefect 中的 set_downstream() 提供两个输入

标签 prefect

现在我有一个设置,其中第三个流程取决于两个先前的流程。

它应该看起来像

third_flow.set_downstream([flow_foo, flow_bar])

但是我把它不必要地链接起来,如下所示:

flow_foo.set_downstream(flow_bar)
flow_bar.set_downstream(third_flow)

foobar 的运行顺序并不重要,重要的是它们都在 third_flow 运行之前完成。

在 Prefect 中表达这一点的最佳方式是什么?

编辑:目前我还没有使用 Prefect v2

最佳答案

有两个选项:

  1. flow_foo.set_dependency(task=first_task,upstream_tasks=[another_task, Yet_another])(适用于命令式 API)
  2. 在调用任务时设置这些要容易得多:对于功能性 API,task3(upstream_tasks=[task1, task2])

如果您刚开始使用,Prefect 2 会变得更加容易,因为您可以运行任何 Python,不需要 DAG 结构:https://docs.prefect.io

关于prefect - 向 Prefect 中的 set_downstream() 提供两个输入,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/73536044/

相关文章:

每个数据的 Airflow Dagrun,而不是预定的

python - 如何使用 prefect 在 Flow 中缓存/定位具有相同名称的任务?

python - 如何处理任务失败并使用 on_failure 参数返回成功?

prefect - 如何在完美服务器0.13.5中配置graphql url

python - 关于管理完善工作流程的日志

python - 从 UI 运行时,Prefect ModuleNotFoundError

python - 完美的工作流程 : How to persist data of previous/every schedule run?

apache-spark - 如何将 Prefect 的资源管理器与 Spark 集群结合使用

docker - `docker run` 作为级长任务

python - 如何使用重复参数更新完美流程?