是否可以在 Spark 运行时更改执行程序内存的值？我想这样做的原因是，对于某些 map task ，我希望 yarn 调度程序将每个任务放在一个单独的节点上。通过将执行程序内存增加到接近节点的总内存，我确保它们分布在每个节点上。后来，我想在每个节点上运行多个任务，所以我会降低它们的执行程序内存。
最佳答案
不，你不能。
每个执行程序都在自己的 JVM 上启动，您无法在运行时更改 JVM 内存。请参阅引用:Setting JVM heap size at runtime
关于java - 我可以在运行时更改 Spark 的执行程序内存吗？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/31365853/