如何停止当前运行的任何 Spark 上下文。
信息 API:斯卡拉 Spark版本:Spark 2.3
实际上我已经创建了 Spark 上下文。为了阻止他们我应该输入例如instance.stop() 但无法记住 Spark 上下文的实例名称。那么如何停止运行 Spark 上下文呢？
或者有什么方法可以重置我在spark-shell中所做的一切并从头开始？
最佳答案
这并不能真正回答您的问题，但可能有助于防止将来出现此问题。
您可以(应该？)使用 atexit 模块来确保退出 python 时自动调用 Spark 上下文的 .stop()。
import atexit
#spark configuration code here
sc = SparkContext(conf = conf)
atexit.register(lambda: sc.stop())
关于python - 如何停止 SparkContext，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/52955929/