我正在学习如何使用 spark，我有一个简单的程序。当我运行 jar 文件时，它给了我正确的结果，但我在 stderr 文件中有一些错误。就像这样:
15/05/18 18:19:52 ERROR executor.CoarseGrainedExecutorBackend: Driver Disassociated [akka.tcp://sparkExecutor@localhost:51976] -> [akka.tcp://sparkDriver@172.31.34.148:60060] disassociated! Shutting down.
15/05/18 18:19:52 WARN remote.ReliableDeliverySupervisor: Association with remote system [akka.tcp://sparkDriver@172.31.34.148:60060] has failed, address is now gated for [5000] ms. Reason is: [Disassociated].
您可以在那里获取整个 stderr 文件:
http://172.31.34.148:8081/logPage/?appId=app-20150518181945-0026&executorId=0&logType=stderr
我搜索了这个问题并找到了这个:
Why spark application fail with "executor.CoarseGrainedExecutorBackend: Driver Disassociated"?
我按照它说的打开了 spark.yarn.executor.memoryOverhead 但它不起作用。
我只有一个主节点(8G 内存)，而在 spark 的 slaves 文件中只有一个从节点——主节点本身。我这样提交:
./bin/spark-submit --class .... --master spark://master:7077 --executor-memory 6G --total-executor-cores 8 /path/..jar hdfs://myfile
我不知道什么是执行者，什么是驱动程序......哈哈......
对于那个很抱歉..
有人帮我吗？
最佳答案
如果 Spark Driver 失败，它会被取消关联(来自 YARN AM)。尝试以下方法使其更容错:
spark-submit与 --supervise上旗 Spark Standalone集群yarn-cluster YARN 模式 spark.yarn.driver.memoryOverhead用于增加 YARN 上驱动程序内存分配的参数 注意: YARN cluster 不支持驱动程序监督 (
spark.driver.supervise ) (然而)。
关于apache-spark - Spark :executor. CoarseGrainedExecutorBackend:驱动程序已解除关联已解除关联，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/30317635/