我在 yarn-cluster 上使用 spark-submit 运行我的 spark 流应用程序。 当我在本地模式下运行它时,它工作正常。 但是当我尝试使用 spark-submit 在 yarn-cluster 上运行它时,它会运行一段时间然后退出并执行以下操作。
Diagnostics: Exception from container-launch.
Container id: container_1435576266959_1208_02_000002
Exit code: 13
Stack trace: ExitCodeException exitCode=13:
at org.apache.hadoop.util.Shell.runCommand(Shell.java:538)
at org.apache.hadoop.util.Shell.run(Shell.java:455)
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:715)
at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:212)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:82)
at java.util.concurrent.FutureTask.run(FutureTask.java:262)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)
我们将不胜感激。
最佳答案
我得到了解决方案。
在我的 Spark Streaming 应用程序中,我设置了 SparkConf.setMaster("local[*]") 并在 spark-submit 中提供了 --master yarn-cluster。
所以两个master都发生了冲突,一直停留在ACCEPTED状态退出。
关于java - SparkStreaming - ExitCodeException exitCode=13,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33013975/