我需要分析数据,但文件有 9Gb。当我尝试打开它时,Python 被中断并返回 MemoryError
。
data = pd.read_csv("path.csv")
有什么办法可以解决这个问题还是我应该删除这个文件?
最佳答案
正如 EdChum 所提到的,我使用 chunksize=n 来分块打开大文件,然后循环遍历这些 block 来执行您需要的任何操作。指定每个数据“ block ”中所需的行数并按如下方式打开:
chunks = 100000
data = pd.read_csv("path.csv", chunksize=chunks)
for chunk in data:
print "something"
希望这有帮助:)
关于python - 如何使用Python打开大文件(9GB)?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37051318/