apache-spark - Spark-submit 给出错误,因为系统找不到指定的路径

标签 apache-spark

发生错误的命令

D:\eclipse_scala\WordCount>spark-submit --class "main.scala.WordCounter" --master "local[*]" "D:\eclipse_scala\WordCount\target\scala-2.11\word-count_2.11-0.1.j
ar"

错误

The system cannot find the path specified.

我用 scala 编写了简单的字数统计程序,并使用 sbt 进行编译。 Spark 版本 - spark-core_2.11-2.0.0.jar

JAVA_HOME=C:\Program Files\Java\jdk1.7.0_71

Path=E:\software\apache-maven-3.3.3\bin;C:\Users\xxxxxxx\hadoop\bin;C:\Program F
iles\Java\jdk1.7.0_71\bin;C:\Program Files\Common Files\Microsoft Shared\Windows
 Live;C:\Program Files (x86)\Common Files\Microsoft Shared\Windows Live;C:\oracl
exe\app\oracle\product\10.2.0\server\bin;C:\Program Files\Dell\DW WLAN Card;C:
\Windows\system32;C:\Windows;C:\Windows\System32\Wbem;C:\Windows\System32\Window
sPowerShell\v1.0\;C:\Program Files\WIDCOMM\Bluetooth Software\;C:\Program Files\
WIDCOMM\Bluetooth Software\syswow64;C:\Program Files (x86)\Windows Live\Shared;E
:\software\spark\spark-2.0.0-bin-hadoop2.7\bin;C:\Program Files (x86)\scala\bin;
C:\Program Files (x86)\sbt\\bin
PATHEXT=.COM;.EXE;.BAT;.CMD;.VBS;.VBE;.JS;.JSE;.WSF;.WSH;.MSC

最佳答案

尝试不使用双引号 Spark 提交--class main.scala.WordCounter--master 本地[*] D:/eclipse_scala/WordCount/target/scala-2.11/word-count_2.11-0.1.jar

关于apache-spark - Spark-submit 给出错误,因为系统找不到指定的路径,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39190829/

相关文章:

java.lang.UnsatisfiedLinkError : org. apache.hadoop.io.nativeio.NativeIO$Windows.createFileWithMode0(Ljava/lang/String;JJJI)Ljava/io/FileDescriptor 问题

apache-spark - 无法在 Cloudera Quickstart VM 5.3.0 中使用 Cloudera Manager 添加新服务

apache-spark - Spark + sbt 组装 : "deduplicate: different file contents found in the following"

python - 如何使用 pyspark 收集两个连续日期之间的新 ID 列表

scala - Spark SQL 更改数字的格式

java - Spark 不推送过滤器(PushedFilters 数组为空)

regex - 在Scala中删除标点符号形式的文本-Spark

Scala - 是否可以编写具有可变参数的 HOF?

sql - SELECT 子句中忽略转义单引号

apache-spark - 使用查找其他 Dataframe 中的值来进行 Spark Dataframe 列转换