我正在 K8S 上使用 Spark 运行一些作业，有时我的执行器会在作业中死掉。每当发生这种情况时，驱动程序都会立即删除失败的 Pod 并生成一个新的 Pod。
有没有办法阻止 Spark 删除已终止的执行程序 Pod？这将使调试故障变得更加容易。
现在我已经将所有 Pod 的日志收集到另一个存储中，以便我可以查看日志。但是查询每个 Pod 的日志非常麻烦，而且我无法看到它们的 K8S 元数据。
最佳答案
此设置已添加到SPARK-25515中。遗憾的是，它不适用于当前发布的版本，但应该在 Spark 3.0.0 中提供
关于apache-spark - Spark 上的 Kubernetes 执行器清理，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/58414655/