如果我想在异常或特定用例的情况下以编程方式从 spark 作业内部停止我的 Spark 应用程序,如何从 Java 代码实现这一点。 我尝试调用 JavaSparkContext.close() 但作业似乎仍在运行。
最佳答案
您可以使用以下方法取消正在运行的 spark 作业:
cancelJobGroup(String group Id)
- 取消指定组的 Activity 作业。
cancelAllJobs()
- 取消所有已安排或正在运行的作业。
更多详情可以引用API doc
关于java - 如何以编程方式停止 Spark 作业执行,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35904404/