scala - Spark yarn 返回退出代码未更新，因为 webUI 中失败 - spark 提交

Question

我正在使用 Spark 提交通过 YARN 运行 spark 作业，在我的 spark 作业失败后，作业仍显示状态为 SUCCEED 而不是 FAILED。如何将退出代码作为失败状态从代码返回到 YARN？

我们如何从代码中发送 yarn 不同的应用程序代码状态？

Answer 1

我认为你做不到。我在 spark-1.6.2 上遇到过同样的行为，但在分析失败后，我没有看到任何明显的方法可以从我的应用程序发送“错误”退出代码。