python - 将文本与 python 中的多个正则表达式匹配

Question

我有一个包含 11 个文件的文本语料库，每个文件大约有 190000 行。 我有 10 个字符串，其中一个或多个可能出现在上述语料库的每一行中。

当我遇到这10个字符串中的任何一个时，我需要单独记录该行中出现的那个字符串。 为每一行循环正则表达式并标记它的蛮力方式需要很长时间。有没有一种有效的方法来做到这一点？

我找到了一篇文章 ( Match a line with multiple regex using Python)，它提供了 TRUE 或 FALSE 输出。但是我如何从行中记录匹配的正则表达式:

any(regex.match(line) for regex in [regex1, regex2, regex3])

编辑:添加示例

regex = ['quick','brown','fox']
line1 = "quick brown fox jumps on the lazy dog" # i need to be able to record all of quick, brown and fox
line2 = "quick dog and brown rabbit ran together" # i should record quick and brown
line3 = "fox was quick an rabit was slow" # i should be able to record quick and fox.

遍历正则表达式并记录匹配的一个是解决方案之一，但看看规模 (11 * 190000 * 10)，我的脚本现在运行了一段时间。我需要在我的工作中多次重复这一点。所以我在寻找一种更有效的方法。

Answer 1

下面的方法是在你想要匹配的情况下。如果您需要列表中的正则表达式来触发匹配，那么您就不走运了，可能需要循环。

基于 the link you have provided :

import re
regexes= 'quick', 'brown', 'fox'
combinedRegex = re.compile('|'.join('(?:{0})'.format(x) for x in regexes))

lines = 'The quick brown fox jumps over the lazy dog', 'Lorem ipsum dolor sit amet', 'The lazy dog jumps over the fox'

for line in lines:
    print combinedRegex.findall(line)

输出:

['quick', 'brown', 'fox']
[]
['fox']

这里的要点是您不要遍历正则表达式，而是将它们组合起来。 与循环方法的不同之处在于 re.findall 不会找到重叠的匹配项。例如，如果您的正则表达式是:regexes= 'bro', 'own'，则上面几行的输出将是:

['bro']
[]
[]

而循环方法会导致:

['bro', 'own']
[]
[]