python - 如何在 Python 中持久存储并有效访问非常大的二维列表？

Question

在 Python 中，我正在读取一个非常大的二维数据网格，该网格总共包含大约 200,000,000 个数据点。每个数据点都是 3 个 float 的元组。将所有这些数据读入二维列表经常会导致内存错误。为了解决此内存错误，我希望能够将此数据读入硬盘驱动器上的某种表中，在给定网格坐标(即 Harddrive_table.get(300, 42))时可以有效地访问该表。

到目前为止，在我的研究中，我遇到过 PyTables ，它是 HDF5 的实现，看起来有点矫枉过正，并且内置 shelve库，它使用类似字典的方法来访问保存的数据，但键必须是字符串，并且将数亿个网格坐标转换为字符串进行存储的性能可能对我的使用造成太大的性能影响。

是否有任何库允许我在硬盘驱动器上存储二维数据表，并有效访问单个数据点？

这个数据表只在程序运行时才需要，所以我不关心它的互操作性或它如何将数据存储在硬盘上，因为它会在程序运行后被删除。

Answer 1

1. 如果 HDF5 有效的话，它也不算大材小用。除了 PyTables 之外，还有更简单的 h5py .

2. Numpy 让您 mmap将文件直接放入 numpy 数组中。这些值将以最小开销的方式存储在磁盘文件中，numpy 数组形状提供数组索引和文件偏移之间的映射。 mmap 使用与磁盘缓存相同的底层操作系统机制来将磁盘文件映射到虚拟内存中，这意味着如果内存允许，则可以将整个文件加载到 RAM 中，但如果满足以下条件，则可以将部分内容刷新到磁盘(并稍后根据需要重新加载):它并不能同时全部适合。