我使用csv.DictReader
从 CSV 文件读取数据。当读取器被迭代时,它会生成带有从 CSV header 获取的键和每行值的字典:
with open(filename) as h:
data = csv.DictReader(h)
for row in data:
# row is dict
每一行都是一个字典,其中包含 keys ,并且每一行都有完全相同的键。如果值是整数并且键(字符串)很长,则键比值占用更多的内存空间。
我可以以每行的键都指向同一个键实例的方式迭代行,从而节省每行的内存空间吗?
请注意,我事先并不知道 key - 它们是从 CSV header 中获取的。否则我可以使用 namedtuple
或__slots__
最佳答案
您可以使用namedtuple
;自己从第一行开始构建:
with open(filename, 'rb') as h:
data = csv.reader(h)
headers = next(data)
RowTuple = namedtuple('RowTuple', headers)
for row in data:
row = RowTuple(row)
这本质上就是 DictReader()
的作用;从第一行取出 key 。
请注意,DictReader()
代码使用 dict(zip(self.fieldnames, row))
创建字典;这为每行重复使用相同的字符串,唯一的内存开销是dict
表本身加上键的哈希值(每次都会重新计算并缓存)。不会为每行重新创建键的字符串。 namedtuple
方法也不需要,但不需要保留哈希值,因为使用了 __slots__
。
关于python - 使用 DictReader 节省内存开销,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/16769868/