python - 我正在尝试找到一种将 numpy 数组转换为 hdf5 格式的方法

Question

我正在尝试将 Numpy 数组转换为 HDF5 格式，在多种情况下随时间变化，例如 Numpy 数组具有以下方面:案例编号(0-100)、时间(0-200 年)、 X 网格点位置 (0-100m)、y 网格点位置 (0-20m) 加上该位置的实际数据点(例如饱和度范围为 0-100%)。我发现以 HDF5 格式有效存储有点困难。稍后应该用它来训练 RNN 模型。 我尝试将 Numpy 分配给 HDF5 格式(不知道它是否有效，因为我没有检索它)。我还对这种情况的不同类型的存储选项以及存储它的最佳方式感到困惑，以便可以轻松检索它来训练神经网络。我需要使用 HDF5 格式，因为它似乎可以优化当前情况下大数据的使用/检索。我也在尝试找到学习 HDF5 格式的最佳方法。谢谢!

Answer 1

import h5py
import numpy as np

# Create a numpy array
arr = np.random.rand(3,3)

# Create a HDF5 file
with h5py.File('mydata.h5', 'w') as f:
    # Write the numpy array to the HDF5 file
    f.create_dataset('mydata', data=arr)

您还可以使用 h5py 库将数据附加到现有 hdf5 文件，而不是创建新文件。