r - 并行进程的通信 : what are my options?

标签 r parallel-processing shared-memory snowfall

我正在尝试更深入地研究 R 例程的并行化。

关于一堆“ worker ”进程的通信,我有哪些选择?

  • 通讯之间 各自的 worker ?
  • 的通讯 worker 使用“”过程?

  • AFAIU,没有主进程和所有工作进程都可以访问的“ 共享环境/共享内存”这样的东西,对吧?

    到目前为止,我想出的最好的想法是将通信基于读取和写入 JSON 文档到硬盘驱动器。这可能是个坏主意;-) 我选择了 .json.Rdata文件,因为 JSON 似乎经常用于软件间通信,所以我想采用那个“标准”。

    期待了解更好的选择!

    仅供引用:我通常基于基础包的功能进行并行化 平行和 contrib 包 snowfall ,主要靠功能sfClusterApplyLB()完成工作

    编辑

    我应该声明我在 Windows 上运行,但也非常感谢基于 Linux 的答案/提示!

    最佳答案

    详见 CRAN Task View for High-Performance Computing , Rdsm Norm Matloff 的包提供共享内存通信。

    关于r - 并行进程的通信 : what are my options?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/11583007/

    上一篇:cudaMemcpy 和阻塞

    下一篇:递归累积函数

    相关文章:

    返回特定字母后直到下一个字母的数字的正则表达式

    testing - 记录哪个测试执行器正在运行特定测试?

    c++ - 如何获取共享内存中的共享对象

    c - 传递具有共享内存的结构

    mysql - Windows 上的 RMySQL 编码问题 - 西类牙字符 ñ

    r - 以整洁的方式将字符串列表转换为 data.frame

    unix - 使用 >> 将多个并行进程的输出通过管道传输到一个文件是否安全?

    c++ - 在消费者进程中 boost 共享内存和同步队列问题/崩溃

    删除 r 中的某些正则表达式

    python - 通过计算整列的行值在 Spark 数据框中创建一列