python - 使用 pytables/hdf5 实时分析模拟数据

Question

我正在使用 c/CUDA 和 python 进行一些 cfd 模拟，目前工作流程如下:

1. 开始用纯c/cuda编写的模拟
2. 将输出写入二进制文件
3. 使用 python 重新打开文件，即 numpy.fromfile 并进行一些分析。

由于我有大量数据和一些元数据，我认为这会更好 切换到 hdf5 文件格式。所以我的想法是这样的，

1. 使用 pytables 为我的模拟创建一些初始条件数据。
2. 使用标准 hdf5 库重新打开并写入 c 中的数据集。
3. 使用 pytables 重新打开文件进行分析。

我真的很想对数据进行一些实时分析，即 从 c 程序写入 hdf5 并使用 pytables 直接从 python 读取。 这会很有用，但我真的没有 确定 pytables 支持多少。

由于我从未使用过 pytables 或 hdf5，因此很高兴知道 这是一个好方法还是存在一些陷阱。

Answer 1

我认为这是一个合理的做法，但确实存在一个陷阱。 HDF5 C 库不是线程安全的(有一个“并行”版本，稍后会详细介绍)。这意味着，您的方案无法立即使用:一个进程将数据写入文件，而另一个进程正在读取(不一定是相同的数据集)将导致文件损坏。要使其正常工作，您必须:

1. 实现文件锁定，确保写入文件时没有进程正在读取，或者
2. 通过将读/写委托(delegate)给特定进程来序列化对文件的访问。然后，您必须通过某种 IPC 技术(Unix 域套接字，...)与该进程进行通信。当然，这可能会影响性能，因为数据会被来回复制。

最近，HDF 小组发布了基于 MPI 的 HDF5 并行版本，使得并发读/写访问成为可能。比照。 http://www.hdfgroup.org/HDF5/PHDF5/ 。它是为像您这样的用例而创建的。

据我所知，pytables 不提供任何与并行 HDF5 的绑定(bind)。您应该使用 h5py相反，它提供了非常用户友好的并行 HDF5 绑定(bind)。请参阅此网站上的示例:http://docs.h5py.org/en/2.3/mpi.html

不幸的是，并行 HDF5 有一个主要缺点:迄今为止，它不支持写入压缩数据集(但可以读取)。比照。 http://www.hdfgroup.org/hdf5-quest.html#p5comp