python - 如何将 PySpark Dataframe 转换为 R 可以在 DataBricks 中识别的内容？

Question

我已经使用 Python 访问了我的 Azure 数据库，现在我想回收一些 R 代码来继续此分析。无论如何，我可以在两种语言之间交换吗？例如，在 python 中导入数据帧并使用 R 代码使用该数据帧。

数据导入到 PySpark dtaframe

venue_list_raw = spark.read.option("inferSchema", "true").option("header", "true").csv("path.csv")

继续使用 R 工作，例如

venue_list <- venue_list_raw %>% mutate(postcode_short = substr(postcode,1,nchar(str_extract(postcode,"(\\w+)"))+2))

我已经尝试过:

%r
library(SparkR)
library(dbplyr)
# collect the data from Spark to local
# convert Spark DataFrame into R data frame
mailing_list_raw_r <- collect(mailing_list_raw)
display(mailing_list_raw_r)

Answer 1

如果您在数据 block 中执行上述操作，则可以通过为数据框创建临时 View 来完成。然后在 R 中访问该 View ，如下所示。

df.createOrReplaceTempView("temp1")

代码:

df2 <- tableToDF("view_name")
display(df2)

或者也像下面这样。

sc <- spark_connect(method = "databricks")
r_df <- collect(spark_read_table(
  sc   = sc,
  name = "temp1"
))
display(r_df)