python - 巨大 numpy (HDF5) 阵列的统计数据

Question

我有相当大的 4D 阵列 [20x20x40x15000]，我使用 h5py 将其作为 HDF5 文件保存到磁盘.现在的问题是我想计算整个数组的平均值，即使用:

numpy.average(HDF5_file)

我得到一个MemoryError。似乎numpy尝试将HDF5文件加载到内存中以执行平均？

有没有人有解决这个问题的优雅有效的解决方案？

Answer 1

折叠 240 000 000 个值需要几行代码才能有效工作。 Numpy 通过将所有数据加载到内存中来工作，因此您将无法像您发现的那样天真地加载数据。您必须将问题分成 block ，并使用 map/reduce 方法:

• 选择 block 大小(根据内存限制)
• 将数据分成这个大小的 block (通过创建多个文件，或者一次只加载一个 block )
• 对于每个 block ，计算平均值并卸载数据
• 将平均值合并到您的最终结果中。

你可以使用from_buffer使用计数和偏移量参数来加载部分数据。

编辑

您可以尝试使用 python 分析器来检查相对成本是多少。

如果主要成本是处理，您可以尝试使用多进程库中的进程池或 numpy 的并行版本对其进行并行化。或者使用 GPGPU 库，例如 pyopencl。

如果处理时间等于加载时间，您可以尝试使用多处理库将这两个任务流水线化。创建一个线程来加载数据并将其提供给处理线程。

如果主要成本是加载时间，那问题就大了。你可以尝试在不同的计算机上划分任务(使用网格库来管理数据复制和任务分发)。