以前Spark会OOM很多 Spark java.lang.OutOfMemoryError: Java heap space
我注意到，自从更新版本(对我来说最近是 1.6+，因为我从 0.7 开始)以来，如果 RDD 无法放入内存，Spark 版本不会抛出 OOM。相反，RDD 分区被逐出，因此需要重新计算。
我想知道哪个版本的 Spark 进行了此更改？
我尝试阅读了很多 https://spark.apache.org/releases/但找不到任何明确的信息。
我很确定它在 2.0 左右，但找不到任何证据来证明这一点。
这个 Jira 似乎暗示它是在 1.6 中与统一内存管理一起实现的 https://issues.apache.org/jira/browse/SPARK-14289
最佳答案
Borrowed storage memory may be evicted when memory pressure arises
来自https://issues.apache.org/jira/secure/attachment/12765646/unified-memory-management-spark-10000.pdf ，附加到 https://issues.apache.org/jira/browse/SPARK-10000在 1.6 https://spark.apache.org/releases/spark-release-1-6-0.html 中实现
终于找到了
关于scala - 自动 Spark RDD 分区缓存驱逐何时实现？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/69597745/