scala - 无法在YARN群集上运行Spark作业

Question

我在运行Spark的顶部有一个简单的hadoop集群(即Spark使用YARN作为集群管理器)。

我正在使用Hadoop 2.7;斯卡拉2.112.1; spark 2.1.0和jdk 8。

现在，当我提交作业时，它失败了，并显示以下消息:

17/04/06 23:57:55 INFO yarn.Client: Application report for application_1491534363989_0004 (state: ACCEPTED)
17/04/06 23:57:56 INFO yarn.Client: Application report for application_1491534363989_0004 (state: FAILED)
17/04/06 23:57:56 INFO yarn.Client:
     client token: N/A
     diagnostics: Application application_1491534363989_0004 failed 2 times due to AM Container for appattempt_1491534363989_0004_000002 exited with  exitCode: 15
For more detailed output, check application tracking page:http://rm100.hadoop.cluster:8088/cluster/app/application_1491534363989_0004Then, click on links to logs of each attempt.
Diagnostics: Exception from container-launch.
Container id: container_1491534363989_0004_02_000001
Exit code: 15

JDK 8有什么问题吗？

更新

当我使用JDK 7运行相同的程序时，它运行良好。所以我的问题是:Spark，scala和hadoop在JDK 8中是否有问题？

Answer 1

我一直在使用Java 8在 yarn 群集上使用Spark，并且一切运行顺利。据我了解，较新版本的spark和scala需要Java 8或更高版本。这是您需要考虑的几件事。

在hadoop-env.sh中检查JAVA_HOME路径

启动 yarn 簇时，请使用jps确保所有必需的节点都已启动。

检查hadoop日志中的日志。

转到http://rm100.hadoop.cluster:8088/cluster/app/application_1491534363989_0004了解更多详细信息