Python 多处理程序未运行到最后

Question

我是 python 多重处理的新手。

基本上我的问题场景是我想在一组表(比如 2 个表)上并行运行我的 python 脚本。

这里我的Python脚本并行地从每个表中读取数据，然后将每个表中的数据写入另一个表中。

我编写了以下代码片段来创建多进程 python 脚本。但是，当我运行脚本时，它没有完成，也没有抛出任何错误消息。

count = multiprocessing.cpu_count()
pool = multiprocessing.Pool(processes=count)
args = [ ('yelp','localhost:9160','cassa1','flight88'), ('yelp','localhost:9160','cassa1','flight96') ]
for a in args:
    print a
    pool.apply_async(user_input,a)

感谢对此的帮助，因为我很困惑并且被困在这里。

Answer 1

您的脚本在子进程完成其任务之前退出。在末尾添加:

pool.close() # no more tasks
pool.join()  # wait for the remaining tasks to complete

此外，您可以使用 pool.imap*() 方法来代替:

from multiprocessing import Pool

def safe_user_input(args):
    try:
         return user_input(*args), None
    except Exception as e:
         return None, str(e)

if __name__=="__main__":       
   tables = [
        ('yelp','localhost:9160','cassa1','flight88'),
        ('yelp','localhost:9160','cassa1','flight96')
   ]

   pool = Pool() # use all available CPUs
   for result, error in pool.imap_unordered(safe_user_input, tables):
       if error is None: # no error
          print(result)