python - 没有客户端/服务器的 key : value store in Python for possibly 100 GB of data,

Question

<分区>

Answer 1

您可以使用 sqlitedict它为 SQLite 数据库提供键值接口(interface)。

SQLite limits page表示理论最大值为 140 TB，具体取决于 page_size 和 max_page_count。但是，Python 3.5.2-2ubuntu0~16.04.4 (sqlite3 2.6.0) 的默认值为 page_size=1024 和 max_page_count=1073741823。这提供了约 1100 GB 的最大数据库大小，可满足您的要求。

您可以像这样使用这个包:

from sqlitedict import SqliteDict

mydict = SqliteDict('./my_db.sqlite', autocommit=True)
mydict['some_key'] = any_picklable_object
print(mydict['some_key'])
for key, value in mydict.items():
    print(key, value)
print(len(mydict))
mydict.close()

更新

关于内存使用。 SQLite 不需要你的数据集来适应 RAM。默认情况下，它最多缓存 cache_size 页面，这几乎是 2MiB(与上面相同的 Python)。这是您可以用来检查您的数据的脚本。运行前:

pip install lipsum psutil matplotlib psrecord sqlitedict

sqlitedct.py

#!/usr/bin/env python3

import os
import random
from contextlib import closing

import lipsum
from sqlitedict import SqliteDict

def main():
    with closing(SqliteDict('./my_db.sqlite', autocommit=True)) as d:
        for _ in range(100000):
            v = lipsum.generate_paragraphs(2)[0:random.randint(200, 1000)]
            d[os.urandom(10)] = v

if __name__ == '__main__':
    main()

像 ./sqlitedct.py & psrecord --plot=plot.png --interval=0.1 $! 一样运行它。在我的例子中，它产生了这个图表:

和数据库文件:

$ du -h my_db.sqlite 
84M my_db.sqlite