我能够在我的四核处理器上本地并行运行 scikit-learn 函数 GridSearchCV。我想知道使用 MPI 的某些模块(例如 mpi4py)将其扩展到多处理器环境是否简单。
我对此很陌生，所以如果能提供额外的相关信息，我将不胜感激。我现在正在浏览 mpi4py 的文档。
谢谢!
最佳答案
你可以看看GridSearchCV implementation作为在 MPI 之上实现您自己的变体的灵感。然而，MPI 可能无法提供一种自然的方式来避免通过网络一遍又一遍地传输输入训练集数据。
另一种方法是使用 IPython.parallel如本 tutorial 中所述.本教程中使用的pyrallel helper lib的代码也是available on github .
关于python - 多处理器环境下的 scikit-learn 网格搜索，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/18985303/