java - 无此类文件异常 - Spark Standalone 集群

Question

我有两台机器，名称为:

1. ubuntu1 - 主节点
2. ubuntu2 - worker

我正在尝试执行该示例，因此我有一个 jar 名称 app1.jar。

当我提交申请时，发送错误。

java.io.NoSuchFileException:/home/ubuntu1/demo/app1.jar

我的命令行是

./spark-submit --master spark://ubuntu1-VirtualBox:7077 --deploy-mode cluster --class br.com.wordCount.App -v --name"App 1" /home/ubuntu1/demo/app1.jar /home/ubuntu1/demo/myfile.txt

为什么向我发送此错误？该文件就是该目录。

注意:Master和Worker在不同的机器上。

非常感谢。

Answer 1

所以，我正在使用 --deploy-mode 集群，这就是在集群中找不到 jar 的原因。我认为有些作品没有jar，所以如果我想使用集群部署模式，解决方案是将jar放在每个节点中。