我正在编写一个 spark 应用程序并使用 spark-submit shell 脚本运行它(使用 yarn-cluster/yarn-client)
正如我现在看到的，spark-submit 的退出代码是根据相关的 yarn 应用程序决定的 - 如果 SUCCEEDED 状态为 0，否则为 1。
我希望可以选择返回另一个退出代码 - 对于我的应用程序成功但出现一些错误的状态。
是否可以？从应用程序返回不同的退出代码？
我尝试使用 System.exit() 但没有成功...
谢谢。
最佳答案
在客户端模式下是可能的，但在集群模式下是不可能的。您有一个集群模式的解决方法。
我对此的回答 question应该可以帮助你。
关于apache-spark - 如何设置 Spark 应用程序退出状态？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/41961233/