python - Pandas Chunksize 迭代器

Question

我有一个 1GB、70M 行的文件，每次我加载它时它都会耗尽内存。我已经阅读了 1000 行，并且能够制作出我希望它执行的原型(prototype)。

我的问题是不知道如何获取接下来的 1000 行并应用我的逻辑，然后继续运行我的文件直到完成最后一行。我读过有关分块的信息，但我不知道如何继续分块的迭代。

理想情况下，它会像这样流动:

1)读入前1000行 2)根据条件过滤数据 3)写入csv 4)重复直到没有更多的行

这是我目前所拥有的:

import pandas as pd
data=pd.read_table('datafile.txt',sep='\t',chunksize=1000, iterator=True)
data=data[data['visits']>10]
with open('data.csv', 'a') as f:
    data.to_csv(f,sep = ',', index=False, header=False)

Answer 1

你的逻辑有问题，我们想遍历数据中的每个 block ，而不是数据本身。

“chunksize”参数为我们提供了一个可以迭代的“textreader 对象”。

import pandas as pd
data=pd.read_table('datafile.txt',sep='\t',chunksize=1000)

for chunk in data:
    chunk = chunk[chunk['visits']>10]
    chunk.to_csv('data.csv', index = False, header = False)

您需要考虑如何处理标题!