有lots用于线程化/并行化 python 的不同模块。 Dispy和 pp/ParallelPython看起来特别受欢迎。看起来这些都是为具有许多内核/处理器的单一界面(例如桌面)设计的。是否有一个模块可以在由队列系统运行的大规模并行架构上工作(特别是:SLURM)？
最佳答案
科学/技术应用大型计算集群上最常用的并行框架是 MPI 。 Python包的名称是MPI4py ，这是 SciPy 的一部分.
MPI 提供了一个高级 API，用于使用通过网络进行通信的消息来创建并行软件；远程进程创建、数据分散/收集、缩减等。所有实现都能够利用快速且低延迟的网络(如果存在)。它与所有集群管理器完全集成，包括 Slurm .
关于python - 在排队集群上使用 Python 进行并行计算，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/27195658/