java - 如何以编程方式停止 Spark 作业执行

标签 java scala hadoop apache-spark

如果我想在异常或特定用例的情况下以编程方式从 spark 作业内部停止我的 Spark 应用程序,如何从 Java 代码实现这一点。 我尝试调用 JavaSparkContext.close() 但作业似乎仍在运行。

最佳答案

您可以使用以下方法取消正在运行的 spark 作业:

cancelJobGroup(String group Id)- 取消指定组的 Activity 作业。
cancelAllJobs() - 取消所有已安排或正在运行的作业。

更多详情可以引用API doc

关于java - 如何以编程方式停止 Spark 作业执行,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35904404/

相关文章:

hadoop - Hadoop分布式模式

java - 使用 Stanford NER 从文本文档中提取地址?

Java Play 2 - 在 scala 中作为参数的函数

hadoop - HDFS复制因子是如何决定的?

scala - 您可以删除 Lift CRUDify 表单上的 "View/Edit/Delete"链接吗?

scala - 如何在 IntelliJ 13 中调试 Scala SBT 项目?

hadoop - 如何运行HBase程序

java - java [android] 中小数点后 3 位的 EditText 掩码

java - 为什么我的程序在打印 letterList 数组时会跳过数字?它只打印出 A-Z 和 a-z

生成 TomTom GPS poi 数据的 Java 库