python - 如何在不锁定的情况下在python中的多个进程之间共享字典

Question

我需要在多个进程之间共享一个巨大的字典(大小约为 1 GB)，但是因为所有进程都将始终从中读取。我不需要锁定。

有什么办法可以不加锁的共享字典吗？

python中的multiprocessing模块提供了一个Array类，通过设置可以实现无锁共享
锁=假
然而，在多处理模块中，管理器提供的字典没有这样的选项。

Answer 1

好吧，事实上，管理器上的字典根本没有锁!我想这对于您也可以通过管理器创建的其他共享对象也是如此。我怎么知道这个？我试过:

from multiprocessing import Process, Manager

def f(d):
    for i in range(10000):
        d['blah'] += 1

if __name__ == '__main__':
    manager = Manager()

    d = manager.dict()
    d['blah'] = 0
    procs = [ Process(target=f, args=(d,)) for _ in range(10) ]
    for p in procs:
        p.start()
    for p in procs:
        p.join()

    print d

如果 d 上有锁，则结果将为 100000。但是相反，结果是相当随机的，所以这很好地说明了为什么在修改内容时需要锁 ;-)

所以继续使用 manager.dict()。