Python 似乎有 many different packages available协助一个人在基于 SMP 的系统上或跨集群进行并行处理。我有兴趣构建一个客户端服务器系统,其中服务器维护一个作业队列,客户端(本地或远程)连接并运行作业,直到队列为空。在上面列出的软件包中,推荐哪个?为什么?
编辑:特别是,我编写了一个模拟器,它接受一些输入并处理一段时间。我需要从模拟中收集足够的样本来估计用户指定的置信区间内的平均值。为了加快速度,我希望能够在许多不同的系统上运行模拟,每个系统都以一定的时间间隔向服务器报告它们收集的样本。服务器然后计算置信区间并确定客户端进程是否需要继续。收集到足够的样本后,服务器终止所有客户端模拟,根据过去的结果重新配置模拟,并重复该过程。
由于需要客户端和服务器进程之间的相互通信,我怀疑批处理调度是否是一个可行的解决方案。抱歉,我应该更清楚地开始。
最佳答案
试试 ParallelPython .看起来易于使用,并且应该提供您想要的作业和队列接口(interface)。
关于Python 并行处理库,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/2051984/