python - 大数据集的字典接口(interface)

Question

我有一组键/值(所有文本)太大，无法一次加载到内存中。我想通过类似 Python 字典的界面与这些数据进行交互。

这样的模块已经存在吗？

读取键值应该高效，并且在磁盘上压缩值以节省空间。

编辑:

• 理想情况下是跨平台的，但目前仅使用 Linux
• 需要线程安全

Answer 1

看看shelve模块。它为词典提供各种支持数据库系统，包括 BerkleyDB 和 dbm。