我有多个不同大小的一维 numpy 数组来表示音频数据。
由于它们的大小不同(例如 (8200,)
、(13246,)
、(61581,)
),我无法将它们堆叠为1 个带有 numpy 的数组。大小差异太大,无法进行 0 填充。
我可以将它们保存在列表或字典中,然后使用 for
循环来迭代它们以进行计算,但我更希望能够以 numpy 风格来处理它。对变量调用 numpy 函数,而无需编写 for 循环。像这样的东西:
np0 = np.array([.2, -.4, -.5])
np1 = np.array([-.8, .9])
np_mix = irregular_stack(np0, np1)
np.sum(np_mix)
# output: [-0.7, 0.09999999999999998]
看着这张 Dask 图片,我想知道我是否可以用 Dask 做我想做的事情。
到目前为止我的尝试是这样的:
import numpy as np
import dask.array as da
np0 = np.array([.2, -.4, -.5])
arr0 = da.from_array(np0, chunks=(3,))
np1 = np.array([-.8, .9])
arr1 = da.from_array(np1, chunks=(2,))
# stack them
data = [[arr0],
[arr1]]
x = da.block(data)
x.compute()
# output: ValueError: ('Shapes do not align: %s', [(1, 3), (1, 2)])
问题
- 我是否误解了 Dask 的使用方式?
- 如果可能的话,我该如何做我的
np.sum()
示例? - 如果可能的话,它实际上比高端单机 PC 上的 for 循环更快吗?
最佳答案
我找到了库 awkward-array
( https://github.com/scikit-hep/awkward-array ),它允许不同长度的数组,并且可以执行我要求的操作:
import numpy as np
import awkward
np0 = np.array([.2, -.4, -.5])
np1 = np.array([-.8, .9])
varlen = awkward.fromiter([np0, np1])
# <JaggedArray [[0.2 -0.4 -0.5] [-0.8 0.9]] at 0x7f01a743e790>
varlen.sum()
# output: array([-0.7, 0.1])
该库将自己描述为:“像 Numpy 一样轻松地操作复杂数据结构的数组。”
到目前为止,它似乎满足了我所需要的一切。
关于arrays - 不同大小数组(锯齿数组)的Python集合,Dask?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58912123/