python - 同时运行同一程序的多个版本

Question

我有一个 python 脚本，需要一天的时间才能运行。我需要为不同的参数运行相同的代码。然而，使用 for 循环迭代所有参数是不可能的，因为这会导致更长的计算时间。 这是一个描述这种情况的简单示例:

ValuesParams=[1,2,3,4,5]
for i in ValuesParams:
     do something
     output file_i.csv

我想运行 5 个不同的程序(在计算机集群中)，具有 5 个不同的值，输出 5 个具有不同名称的不同 csv 文件，但同时执行。因为在单个程序中运行该 for 循环需要 5 天。 实际上它不仅仅是 5 个参数，而且程序也不是一个简单的循环。

我该怎么做？ 任何有关寻找内容的建议或信息都将非常有用。

编辑 感谢所有回复，特别是雷姆拉姆。他们让我走上了寻找答案的道路。

解决方案 1:我创建了一个脚本 RunPrograms.sh，它迭代参数 var1、var2，然后将参数传递给我的 python 脚本 test.py 并同时运行所有作业。一个限制仍然存在，我必须小心同时发送 1000 个作业，但这正是我所需要的。

#!/bin/bash
for var1 in $(seq 1 0.5 3); do
        for var2 in $(seq 1 3); do
                python3 test.py $var1 $var2 &
        done
done

以及Python脚本内部:

import sys
a=float(sys.argv[1])
b=float(sys.argv[2])
def Code(a,b)
    do_something

解决方案 2:在 python 脚本内部使用多处理和星图来传递多个参数:

def Code(T,K):
    do_something
RangeT=np.linspace(0.01,0.05,num=10)
RangeK=[2,3,4]
Z=list(itertools.product(RangeT, RangeK))
if __name__ == '__main__':  
    pool = Pool(4)
    results = pool.starmap(Code, Z)

Answer 1

您可以使用ProcessPoolExecutor从您的 Python 代码中:

from concurrent.futures.process import ProcessPoolExecutor

ValuesParams=[1,2,3,4,5]
with ProcessPoolExecutor(5) as pool:
    pool.map(do_something, ValuesParams)

或者您可以在 shell 级别工作，只需使用不同的命令行参数多次运行您的程序，例如使用 parallel:

parallel python myscript.py -- "1" "2" "3" "4" "5"

import sys

i = int(sys.argv[1])
do_something(i)
output file_i.csv