python 2.6.7 多处理池无法关闭

Question

我们有一个在 python 3.2 (Fedora Core 14 64b) 中运行的 Web 服务服务器，但由于新的依赖项(不支持 3.2)而被迫向后移植到 python 2.6.7。有一段代码使用并发 futures，已被重写为使用 multiprocessing.Pool 并行执行几个关键部分。代码现在看起来像这样:

import multiprocessing
def _run_threads(callable_obj, args, threads):
    pool = multiprocessing.Pool(processes=threads)
    process_list = [pool.apply_async(callable_obj, a) for a in args]
    pool.close()
    pool.join()
    return [x.get() for x in process_list]

对“线程”这个名称的混淆滥用表示歉意。这些是过程。

自从实现这个功能后，我们发现它有时会挂起。当我们最终杀死父(主)进程时，我们得到一个乱码回溯；但有几行似乎很关键:

[snip]
Process PoolWorker-445:
[snip]
File "/usr/lib64/python2.6/multiprocessing/pool.py", line 59, in worker
task = get()
File "/usr/lib64/python2.6/multiprocessing/queues.py", line 352, in get
return recv()
racquire()
[snip]

在我看来，根据现有证据，池中的子进程未能从父进程接收到“关闭”信号，因此它等待工作。 parent 坐着等待 child 关闭。服务器挂起。这种情况不确定地发生，但对于这样一个关键服务器来说太频繁了(每天一次)。

是不是run_threads()函数的编码有问题？这是已知解决方法的已知问题吗？显然，我们将其用于时间关键的处理，因此除非绝对必要，否则我们不希望为顺序执行重新编码。坚持使用 multiprocessing.Pool 的原因之一是可以轻松访问并行运行的操作的返回码。

谢谢

Answer 1

我不确定这个问题的根源在哪里。这绝对是非常有趣的。但是，也许稍加重组就可以解决问题。我认为您不需要在收集结果之前终止池进程，对吗？也许坚持使用池的“规范”方式，as documented , 帮助:

result = pool.apply_async(time.sleep, (10,))
print result.get(timeout=1)           # raises TimeoutError

或者，在您的情况下，在关闭/加入池之前调用 x.get() for x in process_list。如果问题仍然存在并出现在 get() 期间，我们至少知道它与 close() 无关。