我在尝试比较两个 pyspark 数据帧的架构时遇到了一个问题。
如果我使用 df1.schema == df2.schema，它有时会返回 True 但有时会返回 False(我确信模式匹配)
但是，当我使用 df1.printSchema() == df2.printSchema() 时，输出始终为 True。
我知道 df.schema 的数据类型是 pyspark.sql.types.StructType，但为什么它有时会给出WRONG 比较结果？它是 pyspark 中的错误吗？
最佳答案
您可以使用以下命令。这也告诉哪些列是不同的，它整洁干净
set(df1.schema).symmetric_difference(set(df2.schema))
关于apache-spark - 使用 dataframe.schema VS dataframe.printSchema() 比较 pyspark 模式，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/63727599/