我有一个非常大的 4GB 文件,当我尝试读取它时,我的计算机挂起。 所以我想一 block 一 block 地读取它,在处理完每一 block 后将处理后的 block 存储到另一个文件中并读取下一 block 。
有什么方法可以yield
这些片段吗?
我希望有一个懒惰的方法。
最佳答案
要编写惰性函数,只需使用 yield
:
def read_in_chunks(file_object, chunk_size=1024):
"""Lazy function (generator) to read a file piece by piece.
Default chunk size: 1k."""
while True:
data = file_object.read(chunk_size)
if not data:
break
yield data
with open('really_big_file.dat') as f:
for piece in read_in_chunks(f):
process_data(piece)
另一种选择是使用 iter
和一个辅助函数:
f = open('really_big_file.dat')
def read1k():
return f.read(1024)
for piece in iter(read1k, ''):
process_data(piece)
如果文件是基于行的,则文件对象已经是行的惰性生成器:
for line in open('really_big_file.dat'):
process_data(line)
关于python - 在 Python 中读取大文件的惰性方法?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/519633/