现在我有一个设置,其中第三个流程取决于两个先前的流程。
它应该看起来像
third_flow.set_downstream([flow_foo, flow_bar])
但是我把它不必要地链接起来,如下所示:
flow_foo.set_downstream(flow_bar)
flow_bar.set_downstream(third_flow)
foo
和 bar
的运行顺序并不重要,重要的是它们都在 third_flow
运行之前完成。
在 Prefect 中表达这一点的最佳方式是什么?
编辑:目前我还没有使用 Prefect v2
最佳答案
有两个选项:
flow_foo.set_dependency(task=first_task,upstream_tasks=[another_task, Yet_another])
(适用于命令式 API)- 在调用任务时设置这些要容易得多:对于功能性 API,
task3(upstream_tasks=[task1, task2])
如果您刚开始使用,Prefect 2 会变得更加容易,因为您可以运行任何 Python,不需要 DAG 结构:https://docs.prefect.io
关于prefect - 向 Prefect 中的 set_downstream() 提供两个输入,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/73536044/