python - 如何在集群上启用 MPI 的应用程序中使用 scipy.weave.inline?

标签 python scipy cluster-computing mpi

如果 scipy.weave.inline 在集群上运行的大规模并行 MPI 应用程序中被调用,该应用程序具有所有节点共有的主目录,则每个实例都访问相同目录以获取编译代码:$HOME/.pythonxx_compiled。由于显而易见的原因,这很糟糕,并会导致许多错误消息。如何规避这个问题?

最佳答案

根据 the scipy docs ,您可以将编译后的数据存储在不在 NFS 共享上的目录中(例如/tmp 或/scratch 或您的系统可用的任何目录)。那么你就不必担心你的冲突。您只需将 PYTHONCOMPILED 环境变量设置为其他变量即可。

关于python - 如何在集群上启用 MPI 的应用程序中使用 scipy.weave.inline?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/17154381/

相关文章:

python - Python 中的多列插值

cluster-computing - "qsub -now"相当于使用 bsub

python - 查找大型数据集中两个日期之间是否有假期?

python - 大型不规则网格到规则网格的二维插值

python - OSX 如何将 Matplotlib 窗口置于最前面?

python - scipy.ndimage.filters.convolve - 沿不同轴的不同模式?

python - 使用 Ipython 并行在 PBS 集群上注册超时

algorithm - 领袖选举算法

Python 参数解析 : nargs ='?' and optional arguments

Python脚本从HTML页面提取数据