python - 为什么这个 python 列表需要这么多内存？

Question

我想在 python 中创建一个 numpy 数组列表。数组大部分为零，很少有标志设置为 1。

运行以下代码时，我遇到了内存问题。该代码需要〜我期望它使用的内存的两倍。

Python 循环填充列表:

vectorized_data = []
os.system("free -m")
for dat in data: #data has length 200000
    one_hot_vector = np.zeros(6000)
    for d in dat:
        one_hot_vector[d] = 1
    vectorized_data.append(one_hot_vector)
os.system("free -m") ##memory usage goes up by ~7.5GB

我希望此代码使用的内存量(向量维度:6000，#samples:200000，numpy 浮点字节:4):

(6000 * 200000 * 4) /(2**30.0) ~= 4.47 GB

实际使用的内存量:

~7.5 GB

有没有更节省内存的方法来实现这一点？

Answer 1

可以使用生成器和行/列 ID，例如:

def yield_row(data):
  for r_id, dat in enumerate(data):
      tmp = np.zeros(6000)
      for d in dat:
          tmp[d] = 1
      yield r_id, tmp

for r_id, tmp in yield_row(data):
  if is_hot_vector(tmp):
    do_stuff()

这种方法的缺点是只能访问行/列 ID 和当前 tmp 行，但它减少了 data 加一行所需的内存量。

另一种方法可能是仅将行 ID 添加到列表而不是整个行，只需索引该行，并在需要时添加翻译/转换。