windows - 在Windows 8 x64 PC上为本地模式编译Apache Spark 1.1.0?查看特定错误

标签 windows hadoop apache-spark localhost

我已经明确安装了Java 8 SDK,Scala-IDE(经修改的eclipse),普通的Eclipse IDE和sbt,但顺序不是这样。我真的不记得我安装它们的顺序。当安装了 Vanilla Eclipse IDE和Scala IDE而不是命令行工具时,我对如何设置环境变量感到困惑,因为这些安装似乎与命令行安装不同地组织了语言环境?所以我不是要把变量指向什么?

我的理解是CLASS_PATH环境变量用于用户定义的类,对于我当前的项目,我没有。超出此。我有以下环境变量设置。 我在Windows 8 x64 上。
SBT_HOME = C:\Program Files (x86)\sbtJRE_HOME = C:\Program Files\Java\jre1.8.0_20JAVA_HOME = C:\Program Files\Java\jdk1.8.0_20Path = %JRE_HOME%\bin;%JAVA_HOME%\bin;C:\ProgramData\Oracle\Java\javapath;C:\Program Files (x86)\scala\bin;C:\Program Files (x86)\sbt\bin;...(only relevant paths shown)
下载并解压缩Apache Spark 1.1.0并将其解压缩并进入未压缩的顶级文件夹~/(apache spark folder)/,并尝试运行sbt/sbt assembly时,我使用cygwin命令提示符收到以下错误。

[error] (streaming-flume-sink/compile:compile) java.io.IOException: Cannot run p
rogram "javac": CreateProcess error=2, The system cannot find the file specified

[error] (core/compile:compile) java.io.IOException: Cannot run program "javac":
CreateProcess error=2, The system cannot find the file specified
[error] Total time: 551 s, completed Oct 28, 2014 5:24:00 PM

所以错误似乎是我无法在cygwin中运行javac。好吧,我不能。因此,我也尝试了Windows提示符,我的命令javac实际上在这里运行(因为已设置enviro变量。)并且再次尝试时出现以下错误
`sbt/sbt assembly`. 
C:\Program Files (x86)\spark-1.1.0>sbt\sbt assembly
'sbt\sbt' is not recognized as an internal or external command,
operable program or batch file.
>sbt/sbt assembly
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=256m; sup
port was removed in 8.0
[info] Loading project definition from C:\Program Files (x86)\spark-1.1.0\project\projec
t
[info] Loading project definition from C:\Users\jim\.sbt\0.13\staging\ec3aa8f391
11944cc5f2\sbt-pom-reader\project
[warn] Multiple resolvers having different access mechanism configured with same
 name 'sbt-plugin-releases'. To avoid conflict, Remove duplicate project resolve
rs (`resolvers`) or rename publishing resolver (`publishTo`).
[info] Loading project definition from C:\Program Files (x86)\spark-1.1.0\project
[error] Expected symbol
[error] Not a valid command: /
[error] /sbt
[error]  ^

但是同一命令的各种变体也无法使用,因此切换了斜杠类型(sbt\sbt assembly)。

我也有一个没有空格的文件夹中的 Spark :C:\Program Files (x86)\spark

组装/编译Spark我需要做些什么?

太感谢了。

最佳答案

在Windows8中遇到相同的问题,并按照以下步骤解决了该问题

  • 创建一个没有空间的文件夹,然后从Program Files / Java
  • 复制内容
  • 将PATH和JAVA_HOME更新为新路径
  • 启动Cygwin并尝试运行javac命令以确保正确设置了环境变量
  • 尽管与该问题无关,但Scala Installed目录不应有任何空间。我看到您已经在程序文件
  • 中安装了

    关于windows - 在Windows 8 x64 PC上为本地模式编译Apache Spark 1.1.0?查看特定错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/26656441/

    相关文章:

    windows - 如何人为地将CPU负载到某个百分点?

    amazon-web-services - AWS 上的 Hadoop 提供 "java.net.ConnectException Connect refused"

    hadoop - Spark 提交问题

    apache-spark - 我不能 hive 地跑 Spark

    java - 在 Windows 上的两个 java 版本之间切换

    python - 读取远程计算机上的单个注册表项值

    c++ - 如何使用非平凡构造函数初始化静态类成员?

    hadoop - 关键 : HDFS-HAWQ - Migration to New Hardware

    scala - 如何将时间戳列转换为纪元秒?

    apache-spark - spark DAG 中的 shufflequerystage 是什么?