python - 在列表中存储文件使用 10 倍内存作为文件大小

Question

我有一个 ASCII 文件，它本质上是一个 16 位有符号整数的网格；磁盘上的文件大小约为 300MB。我不需要将文件读入内存，但需要将其内容存储为单个容器(容器)，因此对于内存使用的初始测试，我尝试了 list 和 tuples 作为内部容器，外部容器始终作为 列表 通过列表理解:

with open(file, 'r') as f:
    for _ in range(6):
        t = next(f) # skipping some header lines
    # Method 1
    grid = [line.strip().split() for line in f] # produces a 3.3GB container
    # Method 2 (on another run)
    grid = [tuple(line.strip().split()) for line in f] # produces a 3.7GB container

在团队中讨论了网格的使用后，我需要将其作为列表的列表保存到某个时间点，然后我将其转换为元组列表以供程序执行。

我很好奇的是，一个 300MB 的文件如何将其行存储在容器的容器中，并且其总大小是原始原始文件大小的 10 倍。每个容器真的会占用那么多的内存空间来容纳一行吗？

Answer 1

如果您关心将数据存储在内存中并且不想使用标准库之外的工具，您可能想看看 array 模块。它旨在非常有效地在内存中存储数字，array.array 类根据您要存储的数字的特征接受各种类型代码。以下是您可能希望如何调整模块以供您使用的简单演示:

#! /usr/bin/env python3
import array
import io
import pprint
import sys

CONTENT = '''\
Header 1
Header 2
Header 3
Header 4
Header 5
Header 6
 0 1 2 3 4 -5 -6 -7 -8 -9 
 -9 -8 -7 -6 -5 4 3 2 1 0 '''


def main():
    with io.StringIO(CONTENT) as file:
        for _ in range(6):
            next(file)
        grid = tuple(array.array('h', map(int, line.split())) for line in file)
    print('Grid takes up', get_size_of_grid(grid), 'bytes of memory.')
    pprint.pprint(grid)


def get_size_of_grid(grid):
    return sys.getsizeof(grid) + sum(map(sys.getsizeof, grid))


if __name__ == '__main__':
    main()