我想添加数据类型为 uint8 的 numpy 数组。我知道这些数组中的值可能大到足以发生溢出。所以我得到类似的东西:
a = np.array([100, 200, 250], dtype=np.uint8)
b = np.array([50, 50, 50], dtype=np.uint8)
a += b
现在,a 是 [150 250 44]
。但是,我想要的不是溢出,而是对于 uint8 来说太大的值是 uint8 允许的最大值。所以我想要的结果是 [150 250 255]
。
我可以用下面的代码得到这个结果:
a = np.array([100, 200, 250], dtype=np.uint8)
b = np.array([50, 50, 50], dtype=np.uint8)
c = np.zeros((1,3), dtype=np.uint16)
c += a
c += b
c[c>255] = 255
a = np.array(c, dtype=np.uint8)
问题是,我的数组非常大,因此创建具有更大数据类型的第三个数组可能是内存问题。是否有一种快速且内存效率更高的方法来实现所描述的结果?
最佳答案
您可以通过创建第三个 dtype uint8 数组和一个 bool 数组(它们一起比一个 uint16 数组的内存效率更高) 来实现这一点。
np.putmask
对于避免临时数组很有用。
a = np.array([100, 200, 250], dtype=np.uint8)
b = np.array([50, 50, 50], dtype=np.uint8)
c = 255 - b # a temp uint8 array here
np.putmask(a, c < a, c) # a temp bool array here
a += b
但是,正如@moarningsun 正确指出的那样,bool 数组占用的内存量与 uint8 数组相同,因此这不一定有用。可以通过避免在任何给定时间拥有多个临时数组来解决此问题:
a = np.array([100, 200, 250], dtype=np.uint8)
b = np.array([50, 50, 50], dtype=np.uint8)
b = 255 - b # old b is gone shortly after new array is created
np.putmask(a, b < a, b) # a temp bool array here, then it's gone
a += 255 - b # a temp array here, then it's gone
这种方法用内存消耗换取 CPU。
另一种方法是预先计算所有可能的结果,这是 O(1) 的额外内存(即独立于数组的大小):
c = np.clip(np.arange(256) + np.arange(256)[..., np.newaxis], 0, 255).astype(np.uint8)
c
=> array([[ 0, 1, 2, ..., 253, 254, 255],
[ 1, 2, 3, ..., 254, 255, 255],
[ 2, 3, 4, ..., 255, 255, 255],
...,
[253, 254, 255, ..., 255, 255, 255],
[254, 255, 255, ..., 255, 255, 255],
[255, 255, 255, ..., 255, 255, 255]], dtype=uint8)
c[a,b]
=> array([150, 250, 255], dtype=uint8)
如果您的数组非常大,这种方法是最节省内存的。同样,它的处理时间很昂贵,因为它用较慢的 2dim 数组索引代替了超快的整数加法。
它是如何工作的解释
上面c
数组的构造使用了numpy 广播技巧。添加形状数组 (N,)
和形状数组 (1,N)
都广播为 (N,N)
-like ,因此结果是所有可能总和的 NxN 数组。然后,我们剪辑它。我们得到一个 2dim 数组满足:c[i,j]=min(i+j,255)
for each i,j.
然后剩下的就是使用花哨的索引来获取正确的值。使用您提供的输入,我们可以访问:
c[( [100, 200, 250] , [50, 50, 50] )]
第一个索引数组引用第一个暗淡,第二个索引数组引用第二个暗淡。因此,结果是一个与索引数组 ((N,)
) 具有相同形状的数组,由值 [ c[100,50] 、 c[200,50] 、 c[250,50] ]
.
关于python - 添加 numpy 数组时避免溢出,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29611185/