python - Python并行编程中Pool.map和Process有什么区别？

Question

我试图理解多处理模块。当我想使用不同的参数连续多次运行一个函数时，我什么时候应该使用 Pool.map 而不是 Process？各自的优点和缺点是什么？

Answer 1

Pool.map 生成多个进程来完成某个任务。

当您有要在单独进程中处理的任务单元时，您可以直接生成进程。

def execute_new_work(work=somefunction):
    p = multiprocessing.Process(target=work)
    p.start()

Pool可用于管理固定数量的worker。

当您知道要使用相同函数并行处理的工作单元数量时，您可以使用 pool.map 而不是使用 for 循环。这只是更方便和容易

pool_size = multiprocessing.cpu_count() * 2
pool = multiprocessing.Pool(processes=pool_size,
                            initializer=start_process,
                           )
outputs = pool.map(workon_fucntion, inputs)

如您所见，这非常符合 Python 风格，让人想起 Python 中的 map 函数。您可以用 map 做什么，也可以用 for loop 做什么。

这里唯一需要注意的是，worker 进程是预先固定的，pool 管理工作分配给 worker，这非常好。