hadoop - 将Spark应用程序提交到virtualbox Spark Master

标签 hadoop apache-spark cloudera

我创建了一个Spark应用程序Hello World,该应用程序通过Eclipse IDE在本地运行良好。
我想通过“spark-submit”将该应用程序从本地计算机远程部署到virtualbox Cloudera计算机。
用于此的命令行是:

C:\Users\S-LAMARTI\Desktop\AXA\Workspaces\AXA\helloworld\target>%SPARK_HOME%/spa
rk-submit --class com.saadlamarti.helloworld.App --master spark://192.168.56.102
:7077 --deploy-mode cluster helloworld-0.0.1-SNAPSHOT.jar

不幸的是,该应用程序无法运行,并且出现此消息错误:
15/10/12 12:20:40 WARN RestSubmissionClient: Unable to connect to server spark:/
/192.168.56.102:7077.
Warning: Master endpoint spark://192.168.56.102:7077 was not a REST server. Fall
ing back to legacy submission gateway instead.

有人可以知道,为什么不起作用吗?

最佳答案

删除参数--deploy-mode cluster,然后重试。

关于hadoop - 将Spark应用程序提交到virtualbox Spark Master,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33078644/

相关文章:

hadoop - 使用tHiveConnection组件在Talend作业中获取错误

hadoop - Endless INFO Client:Spark上的application_xx的应用程序报告(状态:ACCEPTED)消息提交

apache-spark - Pyspark:java.lang.OutOfMemoryError:超出 GC 开销限制

apache-spark - 如何将 LIBSVM 模型(使用 LIBSVM 保存)读入 PySpark?

hadoop - HDFS 作为 cloudera quickstart docker 中的卷

hadoop - 无法通过CM5.5-vmware中的java客户端连接到hbase

hadoop - 我如何将reduce的输出用作其他作业的来源

hadoop - 包裹未分发但处于事件状态 ACTIVATING

hadoop - 配置 EMR 集群以实现公平调度

hadoop - Cloudera安装代理问题