apache-spark - Databricks:如何将 %python 下的 Spark 数据帧转换为 %r 下的数据帧

标签 apache-spark pyspark databricks

我在 %python 环境中有一个 Dataframe,并尝试在 %r 环境中使用它。

如何将 %python 下的 spark 数据帧转换为 %r ?

最佳答案

这甚至不值得尝试。惯用的方法是注册临时 View ,让 Metastore 完成剩下的工作。在 Python 中:

df.createOrReplaceTempView("some_name")

在 R 中:

sql("REFRESH TABLE some_name")
df <- sql("SELECT * FROM some_name")

关于apache-spark - Databricks:如何将 %python 下的 Spark 数据帧转换为 %r 下的数据帧,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45144193/

相关文章:

hadoop - 使用 hive/sql 和 spark 读取 json 键值

apache-spark - pyspark:使用别名选择列

python - ModuleNotFoundError : No module named 'com.aspose'

pandas - 属性错误: 'StructType' object has no attribute 'encode'

java - 如何运行 Spark Java 程序

scala - Jodatime Scala 和序列化日期时间

scala - 警告 :Multiple versions of scala libraries detected?

python - 使用可变模式创建 Pyspark 数据框

apache-spark - 如何在没有 Hadoop 的情况下让 Spark 在 Windows 10 上运行?

pyspark - 在数据 block 上提取 tar.gz