我正在尝试使用 Java 程序从本地系统连接到 Spark 主节点(远程集群节点)。我正在使用以下 API 进行连接:
SparkConf conf = new SparkConf().setAppName("WorkCountApp").setMaster("spark://masterIP:7077");
JavaSparkContext sc = new JavaSparkContext(conf);
我的程序尝试连接到主服务器，但在一段时间后失败。下面是堆栈跟踪:
16/11/30 17:40:26 INFO AppClient$ClientActor: Connecting to master akka.tcp://sparkMaster@ec2-54-202-212-141.us-west-2.compute.amazonaws.com:7077/user/Master...
16/11/30 17:40:46 ERROR SparkDeploySchedulerBackend: Application has been killed. Reason: All masters are unresponsive! Giving up.
16/11/30 17:40:46 WARN SparkDeploySchedulerBackend: Application ID is not initialized yet.
16/11/30 17:40:46 INFO SparkUI: Stopped Spark web UI at http://172.31.11.1:4040
16/11/30 17:40:46 INFO DAGScheduler: Stopping DAGScheduler
16/11/30 17:40:46 INFO SparkDeploySchedulerBackend: Shutting down all executors
16/11/30 17:40:46 INFO SparkDeploySchedulerBackend: Asking each executor to shut down
16/11/30 17:40:46 ERROR OneForOneStrategy:
java.lang.NullPointerException
java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext
at org.apache.spark.SparkContext.org$apache$spark$SparkContext$$assertNotStopped(SparkContext.scala:103)
请帮我做同样的事情
最佳答案
连接失败的原因有很多。然而，对于这个 Spark master 来说，似乎没有实例化工作线程。
在远程计算机上，您需要启动 Spark Master 以及 Spark Worker(从机)
关于java - 远程连接Spark集群，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/40894944/