Python 并行处理库

标签 python cluster-computing scientific-computing

Python 似乎有 many different packages available协助一个人在基于 SMP 的系统上或跨集群进行并行处理。我有兴趣构建一个客户端服务器系统,其中服务器维护一个作业队列,客户端(本地或远程)连接并运行作业,直到队列为空。在上面列出的软件包中,推荐哪个?为什么?

编辑:特别是,我编写了一个模拟器,它接受一些输入并处理一段时间。我需要从模拟中收集足够的样本来估计用户指定的置信区间内的平均值。为了加快速度,我希望能够在许多不同的系统上运行模拟,每个系统都以一定的时间间隔向服务器报告它们收集的样本。服务器然后计算置信区间并确定客户端进程是否需要继续。收集到足够的样本后,服务器终止所有客户端模拟,根据过去的结果重新配置模拟,并重复该过程。

由于需要客户端和服务器进程之间的相互通信,我怀疑批处理调度是否是一个可行的解决方案。抱歉,我应该更清楚地开始。

最佳答案

试试 ParallelPython .看起来易于使用,并且应该提供您想要的作业和队列接口(interface)。

关于Python 并行处理库,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/2051984/

相关文章:

python - 热图 Python

python - PiXhost的API-上传图片

nginx - uwsgicluster - 连接到上游客户端时没有实时上游

cassandra - 所有尝试查询的主机均失败

python - 哪个 IDE 用于在 Python 中进行科学计算和绘图?

python - 将 os.system 的输出分配给一个变量并阻止它显示在屏幕上

python - 将列表转换为字符串

负载平衡集群中的 PHP session - 怎么样?

python - 在 Python 中处理大量数据

matlab - 在 MATLAB 中求解指数方程