scala - 如何在Spark中顺序处理两个RDD？

Question

当我在Spark程序中达到资源限制时，我想将处理分为多个迭代，并将每个迭代的结果上传到HDFS，如下所示。

do something using first rdd
upload the output to hdfs

do something using second rdd
upload the output to hdfs

但据我所知，Spark将尝试并行运行这两个。有没有办法在处理第二个rdd之前等待第一个rdd的处理？

Answer 1

我想我知道您感到困惑的地方。在单个RDD中，分区将彼此并行运行。但是，两个RDD将彼此顺序运行(除非您另有编码)。