rdd - SPARK 内存计算

Question

如果 Spark 在内存中计算所有 RDD 操作，那么将 RDD 持久保存在内存中有何区别？

Answer 1

我们可以持久化 RDD 以应用多个操作或稍后在 RDD 上调用操作。坚持后，RDD Spark 将跳过我计算执行操作所需的所有阶段。在spark中，所有转换都是惰性评估的，这意味着当您调用action时，所有转换都将实时执行，因此如果您第一次调用collect()，如果您再次运行另一个操作(例如count)，它将执行所有转换并保留其中一个RDD。它不会重新执行所有转换，只是在持久化之前跳过所有转换并执行非持久化部分，例如

val list = sc.parallelize(List(1,23,5,4,3,2))
val rdd1 = list.map(_+1)
val rdd2 = rdd1.map(_+5).cache
rdd2.collect
rdd2.count

就像上面的示例一样，当 rdd2.collect 调用时，它将执行所有上述转换，因为您注意到 rdd2 已经缓存，因此现在当调用 count 时，它不会执行上述转换并使用持久的 rdd 来计算结果。