scala - 如何在 Windows 8.1 上启动 Spark Shell?

标签 scala spark-streaming

我一直试图让 Spark shell 运行无济于事。

操作系统:Windows 8.1

Spark :1.3.1

java :8

下载了预打包和未打包变体(由 maven 和简单构建工具构建的未打包变体)。我试图用三种不同的方式解决我的问题,但无济于事。

1) 在我的 Spark 目录中,我尝试使用 spark-shell.cmd 的变体启动它的 shell。或 .\bin\spark-shell.cmd .

我一直在以下方面遇到错误:

'C:\Program' is not recognized as an internal or external command, operable program or batch file.



当我看到一个可能的空白错误时,我已经尝试了我的命令的变体,包括引号、完整路径等。到目前为止没有结果。

2) 接下来,我尝试简单地将 spark 目录移动到硬盘的最高级别 (C:\\spark-1.3.1-bin-hadoop2.6)。

由于消除了空格作为一个可能的问题,我的错误消息现在属于以下几行:

find: 'version': No such file or directory else was unexpected at this time.



3)我试图以某种方式通过 Scala 调用 Spark(如某些文档和 screencasts 给人的印象)。我可以确认 Scala (2.11.6) 已在我的环境变量中正确配置。它的 shell 工作正常。

如果据说有一个命令让它启动 Spark shell,我在听。当前通过 Scala 的尝试是另一个死胡同。

谢谢你。

最佳答案

在这个文件中 bin\spark-class2.cmd找到线

set RUNNER="%JAVA_HOME%\bin\java"

并将其替换为(删除“)
set RUNNER=%JAVA_HOME%\bin\java

关于scala - 如何在 Windows 8.1 上启动 Spark Shell?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30134523/

相关文章:

design-patterns - 创建两种不同类型的用户(Scala、Lift)

scala - 字典排列

hadoop - Apache Spark : NPE during restoring state from checkpoint

scala - 使用 Spark StreamingContext 从 Kafka 主题消费

apache-spark - Spark Streaming Write Ahead Log重启后不重播数据

斯卡拉选项?为什么 Some 不继承 AnyVal ,为什么它不是值类型?

scala - Play Framework 2.0 : Store values in Http. 上下文

Scala:惰性值、按名称调用、闭包和内存泄漏

rest - Spark 流而不是 java REST API

java - 如何使用直接流在 Kafka Spark Streaming 中指定消费者组