python - rpy2代码可以并行运行吗？

Question

我有一些 Python 代码通过 rpy2 将数据帧传递给 R，然后 R 对其进行处理，然后我通过 com.load_data 将生成的 data.frame 作为 PANDAS 数据帧拉回 R。

问题是，对 com.load_data 的调用在单个 Python 进程中运行良好，但当同一组代码在多个 multiprocessing.Process 中运行时它会崩溃并发处理。我从 Python 中得到以下错误消息:

File "C:\\Python27\\lib\\site-packages\\pandas\\rpy\\common.py", line 29, in load_data
    r.data(name) TypeError: 'DataFrame' object is not callable'

所以我的问题是，rpy2 实际上不是设计能够并行运行，还是它只是 load_data 函数中的一个错误？我只是假设每个 Python 进程都会获得自己独立的 R session 。据我所知，唯一的解决方法是让 R 将输出写入一个文本文件，适当的 Python 进程可以打开该文件并继续进行处理。但这非常笨重。

更新一些代码:

from rpy2.robjects.packages import importr
import rpy2.robjects as ro
import pandas as pd
import pandas.rpy.common as com

# Load C50 library into R environment
C50 = importr('C50')

...

# PANDAS data frame containing test dataset
testing = pd.DataFrame(testing)

# Pass testing dataset to R
rtesting = com.convert_to_r_dataframe(testing)
ro.globalenv['test'] = rtesting

# Strip "AsIs" from each column in the R data frame
# so that predict.C5.0 will work
for c in range(len(testing.columns)):
    ro.r('''class(test[,{0}])=class(test[,{0}])[-match("AsIs", class(test[,{0}]))]'''.format(c+1))

# Make predictions on test dataset (res is pre-existing C5.0 tree)
ro.r('''preds=predict.C5.0(res, newdata=test)''')
ro.r('''preds=as.data.frame(preds)''')

# Get the predictions from R
preds = com.load_data('preds') ### Crashes here when code is run on several processes concurrently

#Further processing as necessary
...

Answer 1

rpy 的工作原理是并行运行 Python 进程和 R 进程，并在它们之间交换信息。它没有考虑使用 multiprocess 并行调用 R 调用。所以实际上，每个 python 进程都连接到同一个 R 进程。这可能会导致您看到的问题。

避免此问题的一种方法是在 R 中实现并行处理，而不是在 Python 中。然后将所有内容立即发送到 R，这将并行处理它，结果将发送回 Python。