python - 在 100k len 的单词列表中查找 4k 个单词

Question

我有一个 txt 文件中的单词列表，以及一个列表中的数千个单词。我如何搜索它们并将它们添加到新列表中(如果找到)

words.txt 文件包含 100k 单词。 my_list 包含 4k 个单词。

目前我正在这样做。

    my_list = [hello, hi, hey, ho, wow, .....] 

    with open("words.txt") as f:
        lines = [line.rstrip() for line in f]
    
    words_in_lines = []

    for i in my_list: 
        if i in lines:
            words_in_lines.append(i)

这是没有结束的，它不会执行，因为单词列表中的单词太多。

Answer 1

1. 将 my_list 从列表转换为集合以加快查找速度
2. 不要从 my_list 中逐行查找单词，而是在 my_list 内的 line 中搜索单词

my_list = set([hello, hi, hey, ho, wow, .....])
words_in_lines = []

with open("words.txt") as f:
    for line in f:
        words = line.strip().split()
        for word in words:
            if word in my_list:
                words_in_lines.append(word)

时间复杂度应为O(文件中的单词数)

编辑:正如@greybeard 所指出的，这种方法

1. words_in_lines 中的单词顺序不同
2. 将 my_list 从列表修改为集合
3. 跳过 10 万单词列表的创建