我必须将数据帧保存到 Pickle 文件，但它返回错误
df.saveAsPickleFile(path)
属性错误:“Dataframe”对象没有属性“saveAsPickleFile”
最佳答案
saveAsPickleFile 是 RDD 的方法，而不是数据帧的方法。
请参阅此文档: http://spark.apache.org/docs/latest/api/python/pyspark.html?highlight=pickle
所以你可以调用:
df.rdd.saveAsPickleFile(filename)
要从文件加载它，请运行:
pickleRdd = sc.pickleFile(filename).collect()
df2 = spark.createDataFrame(pickleRdd)
关于pyspark - 如何使用 Pyspark 将数据帧保存到 pickle 文件，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/49559004/