python-3.x - 在两个巨大的数据集中找到相同的值

Question

我有一个大约有 2000 行的列表 [UnixTimestamp, Value01, Value02](它以 JSON 形式出现)，我有另一个列表有几百万行 [UnixTimestamp, Value01, Value02](它以 . csv) 我想弄清楚较小列表中的每个元素是否在第二个列表中具有相同值的元素。 两个列表都按时间戳排序

最简单的方法显然是这样的:

for x in small_List:
    if x in big_list:
        return True
    return False

但这是否有意义，或者是否有更有效的方法？

谢谢

Answer 1

如果它们只是列表，您可以尝试这样的操作。

设置(小列表)和设置(大列表)

转换为 set 将删除重复值，您可以使用 & 运算符比较并返回两个集合的相同值。