最新documentation对于spark 2.4.5建议在未来的工作中使用“动态资源分配和外部洗牌服务”，但是，我也发现了一些older documentation对于spark 2.2.0，建议在设置外部shuffle服务后支持它。
您是否已在 Kubernetes 上成功启用 Spark 动态分配？如果是这样，您面临哪些挑战以及引用了哪些文档？
我们目前正在为 Spark 使用 AWS EMR 服务，并希望在启用动态分配的 Kubernetes 上尝试 Spark。
谢谢!
最佳答案
旧文档确实属于 older Spark fork repo ，它已被用作与 K8s 相关的主要 Apache Spark 存储库工作的基础和 POC。如果您想启用此功能 - 您只能使用这个较旧的 Spark 2.2.0 分支。请注意，不建议用于 PROD。
关于apache-spark - 在 Kubernetes 上启用 Spark 的 DynamicAllocation？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/62135164/