python - pd.equals() 在将数据帧转换为 CSV 并返回数据帧后返回 false

Question

我有一个原始的 pandas 数据框，我们称它为 df。我将数据帧转换为 csv 文件，然后将其转换回 Pandas 数据帧。当我调用 df.equals(new dataframe) 时，它返回 false。我认为一个错误可能是索引可能被关闭，所以我将新数据帧的索引设置为 csv 文件的第一列(这是原始数据帧的索引)但仍然得到相同的结果。

示例代码:

import pandas as pd

df = <stuff here that aggregates other dataframes into one>
file_name = 'test/aggregated_reports.csv'
df.to_csv(file_name)
df2 = pd.read_csv(file_name, index_col=0)
assert df.equals(df2)

我通过再次将 df2 转换为 csv 并比较 2 个 csvs(file_name 和从 df2.to_csv() 创建的 csv)进行了一些手动测试，它们看起来是相同的，所以我' m 假设在将原始数据帧转换为 csv 文件时发生“差异”。但我还是不太明白...

对于可能导致此处“差异”的原因的任何见解，我们将不胜感激!

Answer 1

这可能只是一个舍入误差(我假设您的数据是数字)。如果您将 float 存储为文本，读回它往往会导致轻微错误。请参见下文 - 尝试使用差异而不是 .equals() 来比较数值数据。

import pandas as pd
import numpy as np

df = pd.DataFrame(
    columns=['a', 'b', 'c'],
    index=[0, 1, 2, 3] * 3,
    data=np.random.random((12, 3)))

file_name = 'mydata.csv'
df.to_csv(file_name)
df2 = pd.read_csv(file_name, index_col=0)

print(df.equals(df2))                            # Returns False
print(np.all(np.abs((df - df2) < 10 ** -10)))    # Returns True

要查看的其他一些选项:

compare = (df == df2)      # Dataframe of True/False
compare.all()              # By column, True if all values are equal
compare.count()            # By column, how many values are equal

# Return any rows where there was a difference
df.where(~compare).dropna(how='all')