python - 使用 python 从 .gz 文件中删除特定行(模式)以处理大文件

Question

我正在使用 .gz 扩展名文件，其中需要我以最少的处理时间从文件中删除特定模式，并且根本不更改文件。

Answer 1

您是否尝试过使用 gzip.GzipFile ？参数类似于open。

如果某个条件不匹配，则从文件中读取行并写入另一个文件的示例:

import gzip

with gzip.GzipFile('output.gz', 'w') as fout:
    with gzip.GzipFile('input.gz','r') as fin:
        for line in fin:
            if not your_remove_condition(line):
                fout.write(line)

请注意，输入和输出文件必须不同。