我是 Apache Spark 的新手，我创建了几个 RDD 和 DataFrame，并缓存了它们，现在我想使用下面的命令来取消其中一些
rddName.unpersist()
但我不记得他们的名字了。我使用了 sc.getPersistentRDDs 但输出不包含名称。我还使用浏览器查看缓存的 rdd，但同样没有名称信息。我错过了什么吗？
最佳答案
PySparkers:getPersistentRDDs isn't yet implemented in Python ，因此通过深入研究 Java 来取消持久化 RDD:
for (id, rdd) in spark.sparkContext._jsc.getPersistentRDDs().items():
rdd.unpersist()
关于java - Spark 列出所有缓存的 RDD 名称并取消持久化，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/38508577/