java - Spark 如何实现任务间的内存公平？

Question

我正在看这个presentation那是关于 Spark 内存管理。
他谈到了他们如何在一个执行器中实现不同任务之间的公平性(12:00)。他提出了任务之间动态分配的想法，并宣称如果更多任务开始执行，Spark 会将其他任务的页面溢出到磁盘。
我之前读过 Spark 中的任务本质上是线程，而在 Java 中，我们没有这种能力来管理线程的内存并在它们之间建立内存公平性。我想知道 Spark 是如何实现这一目标的？

Answer 1

我不确定公平是否有效。

这是对每个 Executor https://www.davidmcginnis.net/post/spark-job-optimization-myth-5-increasing-executor-cores-is-always-a-good-idea 超过 1 个内核的 executor 内存的出色读取，这与溢出到磁盘无关。

如果可用内存太大，则溢出到磁盘。分区也可以被完全驱逐，导致重新计算(从最后一个检查点)。

我所在的范式与本文类似，因为我们使用单个 Core 运行了更多的 Executor。 Spark 的默认值也确实是 1，我认为这是供应商经过深思熟虑的默认值。