我正在尝试调整 Spark 的内存参数。
我试过:
sparkSession.conf.set("spark.memory.storageFraction","0.1") //sparkSession has been created
在我提交作业并检查 Spark UI 之后。我发现“存储内存”仍然和以前一样。所以上面的方法不起作用。
设置“spark.memory.storageFraction”的正确方法是什么？
我正在使用 Spark 2.0。
最佳答案
我遇到了同样的问题，从spark github上阅读了一些代码后，我认为spark ui上的“存储内存”具有误导性，它不是表示存储区域的大小，实际上它代表的是maxMemory:
maxMemory = (executorMemory - reservedMemory[default 384]) * memoryFraction[default 0.6]
检查这些以获取更多详细信息↓↓↓
spark ui executors-page source code
getMaxmemory source code
关于apache-spark - 在 Spark 中设置 "spark.memory.storageFraction"不起作用，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/43512231/