pyspark - 当数据帧从 pyspark 的内存中删除时，？如何显式删除数据框？

Question

这是场景示例，我想在释放内存的代码不再使用 df1 后立即删除 df1 -

df1 = spark.sql("Select 1 as X")
df2 = df1.withColumn("Y", df1["X"])

# here if I want to remove df1 then what should be the code.

df2.show()

Answer 1

如果我们使用 df.persist() 或某些缓存级别，我们可以取消数据帧的持久化。但这里我们没有使用任何缓存。 如果你确实想清除内存，请检查垃圾收集调整

https://github.com/apache/spark/blob/master/docs/tuning.md

注意:Dataframe 不保存数据。