python - 在循环内保存 pandas 合并

Question

我正在传递 1,000 行的 block 并将它们合并到 pandas 数据帧中，但合并的数据帧不会保存，并且每次都会输出一个新的数据帧。如何保存每次迭代的合并？

def mergeDFs:
    def merge(x):
        df = df.merge(x, left_on="id", right_on="id")


    reader = pd.read_csv("train_lag.csv", chunksize=1000)

    for r in reader:
        merged = merge(r)
    return merged

Answer 1

考虑通过列表理解进行concat:

def proc_merge(x):
  return df.merge(x, on="id")

reader = pd.read_csv("train_lag.csv", chunksize=1000)

final_df = pd.concat([proc_merge(r) for r in reader])