python - 多重处理需要更长的时间？

Question

我试图了解如何让 child 写入 parent 的变量。也许我在这里做错了什么，但我可以想象多重处理所花费的时间只是实际花费时间的一小部分:

import multiprocessing, time

def h(x):
    h.q.put('Doing: ' + str(x))
    return x

def f_init(q):
    h.q = q

def main():
    q = multiprocessing.Queue()
    p = multiprocessing.Pool(None, f_init, [q])
    results = p.imap(h, range(1,5))
    p.close()

-----结果-----:

1
2
3
4
Multiprocessed: 0.0695610046387 seconds
1
2
3
4
Normal: 2.78949737549e-05 seconds # much shorter

    for i in range(len(range(1,5))):
        print results.next() # prints 1, 4, 9, 16

if __name__ == '__main__':
    start = time.time()
    main()
    print "Multiprocessed: %s seconds" % (time.time()-start)             

    start = time.time()
    for i in range(1,5):
        print i
    print "Normal: %s seconds" % (time.time()-start)             

Answer 1

@Blender 基本上已经回答了你的问题，但作为评论。 多处理机制会产生一些开销，因此，如果您在没有做任何重要工作的情况下产生开销，速度会变慢。

尝试实际做一些并行性良好的工作。例如，编写Python代码打开一个文件，使用正则表达式扫描它，并提取匹配的行；然后列出十个大文件，并计算使用多处理与普通 Python 完成所有十个文件所需的时间。或者编写代码来计算昂贵的函数并尝试一下。

我使用multiprocessing.Pool()只是为了运行外部程序的一堆实例。我使用 subprocess 来运行音频编码器，它一次运行四个编码器实例，从而获得显着的加速。