我在看 Learning Spark ，我不明白 Spark 的 shuffle 输出写入磁盘意味着什么。参见第 8 章，调整和调试 Spark，第 148-149 页:
Spark’s internal scheduler may truncate the lineage of the RDD graph if an existing RDD has already been persisted in cluster memory or on disk. A second case in which this truncation can happen is when an RDD is already materialized as a side effect of an earlier shuffle, even if it was not explicitly persisted. This is an under-the-hood optimization that takes advantage of the fact that Spark shuffle outputs are written to disk, and exploits the fact that many times portions of the RDD graph are recomputed.
据我了解有不同的持久性策略，例如，默认
MEMORY_ONLY这意味着中间结果永远不会持久化到磁盘。shuffle 何时以及为什么会在磁盘上保留某些内容？如何通过进一步的计算重用它？
最佳答案
什么时候
第一次评估需要 shuffle 的操作( Action )并且无法禁用时会发生这种情况
为什么
这是一个优化。改组是 Spark 中发生的昂贵的事情之一。
如何通过进一步的计算重用它？
它会自动与在同一 RDD 上执行的任何后续操作重用。
关于apache-spark - Spark 是否将中间 shuffle 输出写入磁盘，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/40949835/