我编写了一个脚本来启动多个并行运行的进程(简单的单元测试)。它将同时执行 N
个作业,并使用 num_workers
个并行进程。
我的第一个实现以 num_workers
的批处理运行进程并且似乎工作正常(我在这里使用 false
命令来测试行为)
import subprocess
errors = 0
num_workers = 10
N = 100
i = 0
while i < N:
processes = []
for j in range(i, min(i+num_workers, N)):
p = subprocess.Popen(['false'])
processes.append(p)
[p.wait() for p in processes]
exit_codes = [p.returncode for p in processes]
errors += sum(int(e != 0) for e in exit_codes)
i += num_workers
print(f"There were {errors}/{N} errors")
但是,测试不会花费相同的时间,所以我有时会等待一个缓慢的测试完成。因此我重写了它以在任务完成时继续分配任务
import subprocess
import os
errors = 0
num_workers = 40
N = 100
assigned = 0
completed = 0
processes = set()
while completed < N:
if assigned < N:
p = subprocess.Popen(['false'])
processes.add((assigned, p))
assigned += 1
if len(processes) >= num_workers or assigned == N:
os.wait()
for i, p in frozenset(processes):
if p.poll() is not None:
completed += 1
processes.remove((i, p))
err = p.returncode
print(i, err)
if err != 0:
errors += 1
print(f"There were {errors}/{N} errors")
然而,这会为最后几个进程产生错误的结果。例如,在上面的示例中,它产生了 98/100 个错误而不是 100 个。我检查了一下,这与并发性无关;出于某种原因,最近的 2 个作业以退出代码 0 返回。
为什么会这样?
最佳答案
问题出在 os.wait()
上。它不仅等待子进程退出:它还返回该子进程的 pid 和“退出状态指示”,如the documentation。说。这需要等到子进程终止;但是一旦子进程终止,它的返回码就不再可用于poll
。这是重现问题的简单测试:
false_runner.py
import os
import subprocess
p = subprocess.Popen(['false'], stderr=subprocess.DEVNULL)
pid, retcode = os.wait()
print("From os.wait: {}".format(retcode))
print("From popen object before poll: {}".format(p.returncode))
p.poll()
print("From popen object after poll: {}".format(p.returncode))
输出
njv@organon:~/tmp$ python false_runner.py
From os.wait: 256
From Popen object before poll: None
From Popen object after poll: 0
The source code for _internal_poll
, called by Popen.poll
, 清楚地表明这里发生了什么:当 Popen
尝试在其子进程的 pid 上调用 _waitpid
时,它得到 ChildProcessError: [Errno 10] No child processes
,并为自己分配一个 0 的 returncode
,因为此时无法确定子进程的返回码。
在您的示例中仅在最后几个子进程中发生这种情况的原因是因为 os.wait
仅在 or assigned == N
情况下被调用,并且只有一两次,因为你的子进程太快了。如果你放慢一点,你会得到更多的随机行为。
至于修复:我可能只是将 os.wait()
替换为 sleep 。
关于Python 子进程返回错误的退出代码,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48910693/