python - 如何在 numpy.append 中短路扁平化

Question

我有一个从第三方类继承的数据结构，该类重载 __getitem__，返回一个元组。

现在，我在其他地方有代码，涉及将这些对象的集合附加到 NumPy 数组:

class ThirdPartyThing:

    def __init__(self, size):
        self.size = size

    def __len__(self):
        return self.size

    def __getitem__(self, key):
        return (self, key)

    def __iter__(self):
        return zip([self] * self.size, range(self.size))

class MyThing(ThirdPartyThing):
    pass

x = numpy.array([], dtype = MyThing, ndmin = 1)
temp = [MyThing(1) for _ in range(5)]
x = numpy.append(x, temp)

当我这样做时，我期望的是一个包含五个 MyThing 类型对象的 Numpy 数组，但我得到的是一个像这样的一维数组:

[MyThing(), 0, MyThing(), 0, MyThing(), 0, MyThing(), 0, MyThing(), 0]

长度为 10，其中每个其他元素都是整数。

根据the docs ，如果未定义 axis ，则 append 尝试展平数组，但定义 axis 在我的情况下没有任何区别。有什么办法可以避免这个陷阱吗？

更新 经过仔细检查，我意识到基类重载了__len__。我认为这就是造成这里问题的原因。

Answer 1

您帖子的精确副本:

In [1]: class MyThing: 
   ...:     pass 
   ...:  
   ...: x = numpy.array([], dtype = MyThing, ndmin = 1) 
   ...: temp = [MyThing() for _ in range(5)] 
   ...: x = numpy.append(x, temp)                                               
In [2]: x                                                                       
Out[2]: 
array([<__main__.MyThing object at 0x7f21b45cd2e8>,
       <__main__.MyThing object at 0x7f21b45cd278>,
       <__main__.MyThing object at 0x7f21b45cd240>,
       <__main__.MyThing object at 0x7f21b45cd320>,
       <__main__.MyThing object at 0x7f21b45cd390>], dtype=object)

对于np.append，其代码为:

def append(arr, values, axis=None):
    arr = asanyarray(arr)
    if axis is None:
        if arr.ndim != 1:
            arr = arr.ravel()
        values = ravel(values)
        axis = arr.ndim-1
    return concatenate((arr, values), axis=axis)

因此，对于轴来说，它只是连接。如果没有它，确保两个参数都是 1d。

你的x是(0,)形状，你的temp是一个5元素列表，asarray变成(5,)形状，结果是(5, )

In [14]: x=numpy.array([], dtype = MyThing, ndmin = 1)                          
In [15]: x.shape                                                                
Out[15]: (0,)
In [16]: np.array(temp).shape                                                   
Out[16]: (5,)
In [17]: np.concatenate((x,temp)).shape                                         
Out[17]: (5,)

我没有看到这个问题。 np.append 中的“扁平化”不会影响代码。但正如我评论的那样，我不喜欢 np.append。它让太多新用户感到困惑，而且没有必要。直接使用连接。

您还包括 ThirdPartyThing 类的代码，但不要使用它。

<小时/>

给 MyThing 一个代表:

In [21]: MyThing.__repr__= lambda self: "MYTHING" 

并定义一个不同的temp:

In [28]: temp1 = np.array([(MyThing(),0) for _ in range(3)])

现在我们看到append ravels的效果:

In [30]: np.append(x,temp1)                                                     
Out[30]: array([MYTHING, 0, MYTHING, 0, MYTHING, 0], dtype=object)

在与 (0,)x 结合之前，(3,2) temp1 变为 (6m,)。

添加 axis=0 不起作用，因为维度数量不同。

<小时/>

使用您编辑的代码:

In [64]: temp = np.array([MyThing(1) for _ in range(3)])                        
In [65]: temp                                                                   
Out[65]: 
array([[[<__main__.MyThing object at 0x7f21adbc5048>, 0]],

       [[<__main__.MyThing object at 0x7f21adbc5a58>, 0]],

       [[<__main__.MyThing object at 0x7f21adbc5470>, 0]]], dtype=object)

In [66]: temp.shape                                                             
Out[66]: (3, 1, 2)

或者用我的代表:

In [67]: MyThing.__repr__= lambda self: "MYTHING"                               
In [68]: temp                                                                   
Out[68]: 
array([[[MYTHING, 0]],

       [[MYTHING, 0]],

       [[MYTHING, 0]]], dtype=object)

In [70]: np.append(x,temp)                                                      
Out[70]: array([MYTHING, 0, MYTHING, 0, MYTHING, 0], dtype=object)

并添加axis=0仍然给出

ValueError: all the input arrays must have same number of dimensions

无论您如何构造它，尝试将 (0,) 形状数组与 (3,1,2) 形状数组连接都需要进行一些调整。

但是为什么要加入这两个数组呢？ (0,) 形状数组最初是从哪里来的？

<小时/>

构建列表的方式是问题的根源:

In [87]: [MyThing(1) for _ in range(3)]                                         
Out[87]: [MYTHING, MYTHING, MYTHING]
In [88]: np.array(_)                                                            
Out[88]: 
array([[[MYTHING, 0]],

       [[MYTHING, 0]],

       [[MYTHING, 0]]], dtype=object)
In [89]: [MyThing(i) for i in range(3)]      # different MyThing parameter each time                                   
Out[89]: [MYTHING, MYTHING, MYTHING]
In [90]: np.array(_)                                                            
Out[90]: array([MYTHING, MYTHING, MYTHING], dtype=object)

但是np.array([MyThing(2),MyThing(3)])会导致某种无限循环。

<小时/>

回到append的问题。通常，当迭代构建数组时，我们建议在列表中收集值(list追加非常快)，并在最后进行一个数组构建(使用np.array，np.stack 和/或 np.concatenate)。

不建议进行迭代连接。它速度较慢，并且创建有效的起始“空”数组时存在问题。您的 x 看起来就像一个这样的空启动器。 np.append 给人一种错误的感觉，认为这种迭代数组构造与列表追加方法一样好。事实并非如此。这就是我不喜欢 np.append 的部分原因。使用concatenate，您至少必须直接解决数组维度的差异。 concatenate 接受一个列表，而不仅仅是两个参数。所以它在循环之外工作。

<小时/>

通过 len 和 iter，ThirdPartyThing(以及通过继承 MyThing)是一个可迭代对象。 np.array 当从这些东西的列表构造数组时，也会尝试迭代它们(与列表列表相同)。

我可以创建一个空对象数组，然后单独填充它，而不是从 MyThing 列表中创建数组。现在我得到了这些对象的“干净”数组:

In [93]: temp = np.empty(5, object)                                             
In [94]: temp                                                                   
Out[94]: array([None, None, None, None, None], dtype=object)
In [95]: for i in range(3): 
    ...:     temp[i] = MyThing(1) 
    ...:                                                                        
In [96]: temp                                                                   
Out[96]: array([MYTHING, MYTHING, MYTHING, None, None], dtype=object)

甚至

In [100]: temp[:] = [MyThing(1) for _ in range(5)]                              
In [101]: temp                                                                  
Out[101]: array([MYTHING, MYTHING, MYTHING, MYTHING, MYTHING], dtype=object)

只是不要将列表提供给np.array!

这个temp可以通过多种方式连接:

In [102]: np.concatenate([temp,temp,temp])                                      
Out[102]: 
array([MYTHING, MYTHING, MYTHING, MYTHING, MYTHING, MYTHING, MYTHING,
       MYTHING, MYTHING, MYTHING, MYTHING, MYTHING, MYTHING, MYTHING,
       MYTHING], dtype=object)
In [103]: np.vstack([temp,temp,temp])                                           
Out[103]: 
array([[MYTHING, MYTHING, MYTHING, MYTHING, MYTHING],
       [MYTHING, MYTHING, MYTHING, MYTHING, MYTHING],
       [MYTHING, MYTHING, MYTHING, MYTHING, MYTHING]], dtype=object)
In [105]: np.append(x,temp)                                                     
Out[105]: array([MYTHING, MYTHING, MYTHING, MYTHING, MYTHING], dtype=object)