python - 格式错误的 CSV 文件和 Pandas read_csv by chunk

Question

我有一个 csv 文件:22 Go 大小，46000000 行 为了节省内存，csv文件按 block 读取和处理。

tp = pd.read_csv(f_in, sep=',', chunksize=1000, encoding='utf-8',quotechar='"') 
for chunk in tp: 
   chunk;

但是文件格式错误并引发异常:

Error tokenizing data. C error: Expected 87 fields in line 15092657, saw 162

有没有办法丢弃这个 block 并继续循环下一个 block ？

Answer 1

这个问题与之前提出的问题类似: Python Pandas Error tokenizing data

正如答案中所说，您必须意识到使用 error_bad_lines=False 会删除该行，并建议更好的方法是调查数据集中的该行。