我的程序做了很多文件处理,由于文件很大,我更喜欢将它们写成 GZIP。一个挑战是我经常需要在文件被写入时读取它们。如果没有 GZIP 压缩,这不是问题,但是当压缩打开时,读取会提示 CRC 失败,我认为这可能与写入时未正确刷新压缩信息有关。有什么方法可以将 GZIP 与 Python 一起使用,这样当我写入并刷新到文件(但不一定要关闭文件)时,它也可以被读取?
最佳答案
我认为将数据刷新到文件(压缩)只是将数据写入文件,但标题仅写入 close()
, 所以你需要先关闭文件,然后才能打开它并读取你需要的所有数据。如果你需要写入大数据量,你可以尝试使用数据库,比如PostgreSQL或MySQL,你可以指定压缩的表(归档,压缩),你将能够将数据插入到表中,并读取它,数据库软件将为您完成所有工作(压缩、插入解压缩、选择)。
关于python - 读取当前正在写入的 gzip 文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/5829964/