r - 在 Rstudio 中将 R 与 Spark 连接 - 启动 Spark shell 失败。端口文件不存在

标签 r apache-spark rstudio sparkapi sparklyr

我正在尝试使用 Rstudio 将 R 与 Spark 的本地实例连接起来。但是,我收到了显示的错误消息。我错过了什么?我正在使用 Windows 10。我正在按照 rstudio 上的教程进行操作.

  library(sparklyr)
  spark_install(version = "1.6.1")
  library(sparklyr)
  library(dplyr)
  sc <- spark_connect(master = "local")

我得到的错误信息:

     Error in start_shell(scon, list(), jars, packages) : 
     Failed to launch Spark shell. Ports file does not exist.
    Path: C:\Users\username\AppData\Local\rstudio\spark\Cache\spark-1.6.1-  bin-hadoop2.6\bin\spark-submit.cmd

 Parameters: --packages "com.databricks:spark-csv_2.11:1.3.0,com.amazonaws:aws-java-sdk-pom:1.10.34" --jars "C:\Users\user\Documents\R\win-library\3.3\sparklyr\java\rspark_utils.jar"   sparkr-shell C:\Users\aaaa\AppData\Local\Temp\Rtmpw9PBxS\filea5860886dd1.out

 'cmd' is not recognized as an internal or external command,
  operable program or batch file.

最佳答案

将 C:\Windows\system32 添加到系统变量路径即可解决。之前,它仅被添加到用户变量 Path 中,这导致了错误消息。

关于r - 在 Rstudio 中将 R 与 Spark 连接 - 启动 Spark shell 失败。端口文件不存在,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38210225/

相关文章:

python - 将大型 Parquet 文件转换为 csv

r - "Error in plot.new() : plot region too large",同时使用 R 在一个布局/面/网格内绘制 4 个 map (2*2)

r - ggplot 中的 ANCOVA 图

r - 使用 stargazer 从插入符导出 glm 训练拟合摘要?

python - PySpark:将 DataFrame 列的值与另一个 DataFrame 列进行匹配

r - 如何在 rstudio 中为新的 ".R"文件设置默认模板

docker - 在已安装卷的Kubernetes中启动RStudio

r - 跟踪序列化对象的增量变化

r - 如何修改和操作 Shiny 的 react 对象/数据框架

apache-spark - 如何强制将 Spark DataFrame 持久保存到内存中?