r - 并行和串行处理的系统时间

Question

我正在运行一个贝叶斯 MCMC 概率模型，我正在尝试并行实现它。在比较并行和串行时，我的机器性能得到了令人困惑的结果。我在并行处理方面没有很多经验，所以可能我做得不对。

我正在使用 MCMCprobit在 MCMCpack用于 probit 模型和并行处理的包我正在使用 parLapply在 parallel包裹。

这是我的串行运行代码，以及来自 system.time 的结果:

system.time(serial<-MCMCprobit(formula=econ_model,data=mydata,mcmc=10000,burnin=100))

   user  system elapsed 
 657.36   73.69  737.82

这是我的并行运行代码:

#Setting up the functions for parLapply:
probit_modeling <- function(...) {
  args <- list(...)
  library(MCMCpack)
  MCMCprobit(formula=args$model, data=args$data, burnin=args$burnin, mcmc=args$mcmc, thin=1)
}

probit_Parallel <- function(mc, model, data,burnin,mcmc) {
  cl <- makeCluster(mc)
  ## To make this reproducible:
  clusterSetRNGStream(cl, 123)
  library(MCMCpack) # needed for c() method on master
  probit.res <- do.call(c, parLapply(cl, seq_len(mc), probit_modeling, model=model, data=data, 
                                        mcmc=mcmc,burnin=burnin))
  stopCluster(cl)
  return(probit.res)
}


system.time(test<-probit_Parallel(model=econ_model,data=mydata,mcmc=10000,burnin=100,mc=2))

以及来自 system.time 的结果:

   user  system elapsed 
   0.26    0.53 1097.25 

任何想法为什么并行进程的用户和系统时间会短得多，但耗时却长得多？我在更短的 MCMC 运行(100 和 1000)中尝试过，结果是一样的。我假设我在某个地方犯了错误。

这是我的电脑规范:

R 3.1.3

8 GB 内存

Windows 7 64 位

Intel Core i5 2520M CPU，双核

Answer 1

在我看来，这两个 worker 所做的工作与顺序版本中所做的工作一样多。为了比代码的顺序版本执行得更快，工作人员应该只执行总工作的一小部分。这可以通过划分 mcmc 来实现。通过本示例中的 worker 数量，尽管这可能不是您真正想要做的。

我认为这解释了 system.time 报告的经过很长时间. “用户”和“系统”时间很短，因为它们是主进程执行 parLapply 时使用很少 CPU 时间的时间。 :实际 CPU 时间由 system.time 未报告的工作人员使用.