我有一个包含 50,000,000 多个 512 位值的列表。
我有每秒 1,750,000 个值的数据流,我需要检查每个值是否在上述列表中。
目前,我在 c 中使用 EXISTS 命令在键上通过 hiredis 选择了 redis。它非常快,我设法每秒检查约 160,000 个值。
但是,我确实需要将此速度提高 10* 倍,因为它会造成瓶颈。有什么想法吗?
最佳答案
听起来像 Bloom Filter假设输入流中的大多数值不在列表中,这可能有助于筛选出绝对不在列表中的值。
关于c - 快速值检查?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20224555/