我最近得到了一台具有多个内核的计算机,并且正在学习使用并行计算。我相当精通 lapply
并被告知 parLapply
工作原理非常相似。我没有正确操作它。看来我必须明确地将所有内容都放在 parLapply
中使其工作(即要使用的函数、变量等)。与 lapply
它从父环境和 parLapply
读取似乎没有这样做。因此,在下面的示例中,我可以通过将所有信息放在 parLapply
中来使一切正常。但是如果我在用户定义的函数中使用它,我不能明确地放置 text.var
内部 parLapply
.
library(parallel)
text.var <- rep("I like cake and ice cream so much!", 20)
ntv <- length(text.var)
gc.rate <- 10
pos <- function(i) {
paste(sapply(strsplit(tolower(i), " "), nchar), collapse=" | ")
}
lapply(seq_len(ntv), function(i) {
x <- pos(text.var[i])
if (i%%gc.rate==0) gc()
return(x)
}
)
#doesn't work
cl <- makeCluster(mc <- getOption("cl.cores", 4))
parLapply(cl, seq_len(ntv), function(i) {
x <- pos(text.var[i])
if (i%%gc.rate==0) gc()
return(x)
}
)
#does work but have to specify all the stuff inside parLapply
cl <- makeCluster(mc <- getOption("cl.cores", 4))
parLapply(cl, seq_len(ntv), function(i) {
######stuff I have to put inside parLapply##########
text.var <- rep("I like cake and ice cream so much!", 20)
ntv <- length(text.var)
gc.rate <- 10
pos <- function(i) {
paste(sapply(strsplit(tolower(i), " "), nchar), collapse=" | ")
}
######stuff I have to put inside parLapply##########
x <- pos(text.var[i])
if (i%%gc.rate==0) gc()
return(x)
}
)
如何通过
text.var
, ntv
, gc.rate
, 和 pos
至 parLapply
没有明确地把它们放在里面? (我猜你以某种方式将它们作为列表传递)PS windows 7机器所以我需要使用
parLapply
我认为
最佳答案
您需要将这些变量导出到集群中的其他 R 进程:
cl <- makeCluster(mc <- getOption("cl.cores", 4))
clusterExport(cl=cl, varlist=c("text.var", "ntv", "gc.rate", "pos"))
关于r - 使用并行的 parLapply : unable to access variables within parallel code,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/12019638/