python - 将 numpy 数组列表合并到一个数组中(快速)

Question

如果知道列表的长度和数组的大小，那么将一个 numpy 数组列表合并为一个数组的最快方法是什么，这对所有人都是一样的？

我尝试了两种方法:

• merged_array = array(list_of_arrays) 来自 Pythonic way to create a numpy array from a list of numpy arrays和

• vstack

您可以看到 vstack 更快，但由于某种原因，第一次运行的时间是第二次的三倍。我认为这是由(缺失)preallocation 引起的.那么如何为 vstack 预分配一个数组呢？或者你知道更快的方法吗？

谢谢!

[更新]

我想要 (25280, 320) 而不是 (80, 320, 320) 这意味着，merged_array = array(list_of_arrays ) 对我不起作用。感谢 Joris 指出这一点!!!

输出:

0.547468900681 s merged_array = array(first_list_of_arrays)
0.547191858292 s merged_array = array(second_list_of_arrays)
0.656183958054 s vstack first
0.236850976944 s vstack second

代码:

import numpy
import time
width = 320
height = 320
n_matrices=80

secondmatrices = list()
for i in range(n_matrices):
    temp = numpy.random.rand(height, width).astype(numpy.float32)
    secondmatrices.append(numpy.round(temp*9))

firstmatrices = list()
for i in range(n_matrices):
    temp = numpy.random.rand(height, width).astype(numpy.float32)
    firstmatrices.append(numpy.round(temp*9))


t1 = time.time()
first1=numpy.array(firstmatrices)
print time.time() - t1, "s merged_array = array(first_list_of_arrays)"

t1 = time.time()
second1=numpy.array(secondmatrices)
print time.time() - t1, "s merged_array = array(second_list_of_arrays)"

t1 = time.time()
first2 = firstmatrices.pop()
for i in range(len(firstmatrices)):
    first2 = numpy.vstack((firstmatrices.pop(),first2))
print time.time() - t1, "s vstack first"

t1 = time.time()
second2 = secondmatrices.pop()
for i in range(len(secondmatrices)):
    second2 = numpy.vstack((secondmatrices.pop(),second2))

print time.time() - t1, "s vstack second"

Answer 1

您有 80 个 320x320 的阵列？所以你可能想使用 dstack:

first3 = numpy.dstack(firstmatrices)

这会返回一个 80x320x320 数组，就像 numpy.array(firstmatrices) 一样:

timeit numpy.dstack(firstmatrices)
10 loops, best of 3: 47.1 ms per loop


timeit numpy.array(firstmatrices)
1 loops, best of 3: 750 ms per loop

如果你想使用vstack，它会返回一个25600x320的数组:

timeit numpy.vstack(firstmatrices)
100 loops, best of 3: 18.2 ms per loop