apache-spark - Spark on Kubernetes 驱动程序 pod 清理

Question

我在 Kubernetes 1.19 上运行 spark 3.1.1。作业完成后，执行程序 pod 将被清理，但驱动程序 pod 仍处于已完成状态。完成后如何清理驱动程序 Pane ？有什么要设置的配置选项吗？

NAME                                           READY   STATUS      RESTARTS   AGE
my-job-0e85ea790d5c9f8d-driver                 0/1     Completed   0          2d20h
my-job-8c1d4f79128ccb50-driver                 0/1     Completed   0          43h
my-job-c87bfb7912969cc5-driver                 0/1     Completed   0          43h

Answer 1

关于最初的问题“Spark on Kubernetes driver pod cleanup”，似乎没有办法在 spark-submit 时将 TTL 参数传递给 kubernetes，以避免永远不会删除处于已完成状态的驱动程序 pod。

来自 Spark 文档: https://spark.apache.org/docs/latest/running-on-kubernetes.html 当应用程序完成时，executor pod 终止并被清理，但驱动程序 pod 保留日志并在 Kubernetes API 中保持“已完成”状态，直到最终被垃圾收集或手动清理。 p>

目前还不清楚是谁在做“最终垃圾收集”。