python - 有效地就地过滤字典

Question

我们有一个字典 d1 和一个条件 cond。我们希望 d1 仅包含满足条件 cond 的值。一种方法是:

d1 = {k:v for k,v in d1.items() if cond(v)}

但是，这会创建一个新字典，如果 d1 很大，这可能会非常耗费内存。

另一种选择是:

for k,v in d1.items():
    if not cond(v):
       d1.pop(k)

但是，这会在迭代时修改字典，并生成错误:“RuntimeError:字典在迭代期间更改了大小”。

Python 3 中就地过滤字典的正确方法是什么？

Answer 1

如果对应值满足条件的键不多，那么可以先聚合键，然后剪枝字典:

for k in [k for k,v in d1.items() if cond(v)]:
    del d1[k]

如果列表[k for k,v in d1.items() if cond(v)] 太大，可以“轮流”处理字典，即组装键直到它们的数量不超过阈值，修剪字典，并重复直到没有更多的键满足条件:

from itertools import islice

def prune(d, cond, chunk_size = 1000):
    change = True
    while change:
        change = False

        keys = list(islice((k for k,v in d.items() if cond(v)), chunk_size))
        for k in keys:
            change = True
            del d[k]