python - 使用 Pandas 读取大文本文件

<分区>

我一直在尝试使用 read_csv 函数使用 Pandas 读取一些大文本文件(大小约为 1.4GB - 2GB)，但无济于事。以下是我使用的版本:

我尝试了以下方法:

df = pd.read_csv(data.txt')

它使 Ipython 崩溃并显示一条消息:Kernel died, restarting。

然后我尝试使用迭代器:

tp = pd.read_csv('data.txt', iterator = True, chunksize=1000)

我再次遇到Kernel died, restarting 错误。

有什么想法吗？或者任何其他方式来读取大文本文件？

谢谢!

最佳答案

给出了类似问题的解决方案here发布此问题后的一段时间。基本上，它建议通过执行以下操作以 chunks 的形式读取文件:

chunksize = 10 ** 6  # number of rows per chunk
for chunk in pd.read_csv(filename, chunksize=chunksize):
    process(chunk)

您应该根据您机器的能力指定chunksize参数(即确保它可以处理该 block )。

关于python - 使用 Pandas 读取大文本文件，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/23411619/