python - 合并从 python 多进程调用函数返回的数据帧

Question

from multiprocessing import Pool

with Pool(processes=6) as p:
    p.starmap(update_tabl, zip(r))

我正在使用此处概述的方法:https://web.archive.org/web/20170625154652/http://n-s-f.github.io/2016/12/23/starmap-pattern.html并行调用返回数据帧作为输出的函数 update_table。

如何连接所有这些数据帧？如果我使用 for 循环但不确定如何并行执行，我可以使用 pd.concat

Answer 1

您可以对星图的结果进行连接:

with Pool(processes=6) as p:
    res = pd.concat(p.starmap(update_table, zip(rows)))
# do stuff with res

连接不会并行发生，而是在星图完成后发生。