python - 在 Luigi Orchestrator 中并行化任务

标签 python python-multiprocessing orchestration luigi

我定义了三个任务T1T2T3,然后定义了一个任务T4,如下:

class T4(luigi.Task)
    def requires(self):
        return [T1(), T2(), T3()]

是否有一种自然的方式告诉 Luigi 我希望这些任务 T1T2T3 并行执行?

最佳答案

这取决于 T1、T2 和 T3 有什么依赖关系。如果他们没有其他任务作为共同依赖项,您只需运行指定 --workers=3Luigi will run each task in a separate worker 的任务即可。 .

关于python - 在 Luigi Orchestrator 中并行化任务,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34127359/

相关文章:

python - 无法正确展开 numpy 数组

python - Tensorflow - 正确(本地?)处理多个时期的数据批处理重叠(小批量?)

python - 使用 spark(PySpark) 进行多处理

python - 多处理。池 : How to start new processes as old ones finish?

java - 编排与消息驱动架构

python - Pandas:将 CSV 数据从单列重新格式化为多个新列

python - omegle lxml 抓取不起作用

python 3.6+ : Nested multiprocessing managers cause FileNotFoundError

python - 我们如何使用 Chef 连接基于集群的软件?

microservices - 相对于 Activiti 5,Core Activiti 6 和 Activiti 7 中可用的附加功能是什么