r - 有没有办法将 R 对象传输到 Linux 上的单独 R session ？

Question

我有一个程序可以重复加载以 R 的 Rds 格式存储的大型数据集。这是一个具有所有显着特征的愚蠢示例:

# make and save the data
big_data <- matrix(rnorm(1e6^2), 1e6)
saveRDS(big_data, file = "big_data.Rds")

# write a program that uses the data
big_data <- readRDS("big_data.Rds")
BIGGER_data <- big_data+rnorm(1)
print("hooray!")
# save this in a text file called `my_program.R`

# run this program a bunch
for (i = 1:1000){
    system("Rscript my_program.R")
}

瓶颈在于加载数据。但是，如果我在某个地方有一个单独的进程将数据保存在内存中呢？

也许是这样的:

# write a program to hold the data in memory
big_data <- readRDS("big_data.Rds")
# save this as `holder.R`  open a terminal and do
Rscript holder.R

现在有一个进程在某处运行，我的数据在内存中。我如何从不同的 R session 中获取它？ (我假设这会比加载它更快——但这是正确的吗？)

也许是这样的:

# write another program:
big_data <- get_big_data_from_holder()
BIGGER_data <- big_data+1
print("yahoo!")
# save this as `my_improved_program.R`

# now do the following:
for (i = 1:1000){
    system("Rscript my_improved_program.R")
}

所以我想我的问题是get_big_data_from_holder() 函数会是什么样？是否有可能做到这一点？实际的？

背景故事:我正在尝试解决 R 与 keras/tensorflow 的接口(interface)中似乎存在内存泄漏的问题，我已经描述过 here .解决方法是让操作系统清理 TF session 遗留下来的所有垃圾，这样我就可以一个接一个地运行 TF session ，而不会让我的计算机变慢。

编辑:也许我可以通过 clone() 系统调用来做到这一点？从概念上讲，我可以想象我会克隆运行 holder 的进程，然后运行程序中依赖于加载的数据的所有命令。但我不知道如何做到这一点。

Answer 1

您还可以通过关闭压缩来提高保存和加载数据的性能:

saveRDS(..., compress = FALSE)