使用 plyr 和 doMC 并行化 R 代码 : error message: Error in do. ply(i):任务 1 失败 - "could not find function "getClass""

Question

我刚刚开始学习如何使用远程 super 计算机来执行并行代码。我从 this 得到了很多初步帮助上一篇文章，以及一位特别乐于助人且耐心的 XSEDE 人员。

我只使用一个节点(同时)，但每个节点都有 32 个核心。我使用 doMC 而不是 Snow，因为 super 计算机的那个人正在运行 Rmpi​​。目前，32 个核心对我来说应该(绰绰有余)足够了。我的脚本是这样的:

define a bunch of functions
load the data
call libraries
require(doMC)
require(plyr)
registerDoMC(32)

main.function <- function(data){
    *the function*
    }

results = llply(1:500, function(idx){out<-main.function(data)},.parallel=TRUE)

save(results,file="trestles_results")

这在我自己的机器上运行良好(将其设置为仅运行几次并仅注册几个核心)。但是当我在集群上运行它时，输出文件显示它运行了 500 次迭代中的每一次，但我没有得到输出文件，并且收到以下错误消息:

Error in do.ply(i) : task 1 failed - "could not find function "getClass""
Calls: llply -> %dopar% -> <Anonymous>
Execution halted
Nodes:        trestles-10-28

有人知道这里发生了什么吗？

提前致谢!

Answer 1

为了完整起见， *ply 函数有一个内置的 .paropts，您可以在其中指定要发送到集群节点的变量和包

results = llply(1:500, 
          function(idx){out<-main.function(data)}, 
          .parallel=TRUE,
          .paropts=list(.export=c('data','main.function'),
                        .packages=.packages(all.available=T))

或者您可以对 .packages 更有选择性，具体取决于 main.function 的复杂程度。我认为因为您是从匿名函数内部调用 main.function ，所以您也需要将 main.function 传递给集群。