我希望能够从 GB 的文本中有效地匹配数千个正则表达式,因为我知道这些正则表达式中的大多数都相当简单,例如:
\bBarack\s(Hussein\s)?Obama\b \b(John|J\.)\sBoehner\b
等等
我目前的想法是尝试从每个正则表达式中提取某种最长的子字符串,然后使用 Aho-Corasick 匹配这些子字符串并消除大部分正则表达式,然后匹配所有剩余的正则表达式组合。谁能想到更好的东西?
最佳答案
您可以使用 (f)lex 生成 DFA,它并行识别所有文字。如果存在太多通配符,这可能会变得棘手,但它适用于多达大约 100 个文字(对于 4 个字母的字母表;对于自然文本可能更多)。您可能想要抑制默认操作 (ECHO),并且只打印匹配项的行号和列号。
[我假设 grep -F 的作用大致相同]
%{
/* C code to be copied verbatim */
#include <stdio.h>
%}
%%
"TTGATTCACCAGCGCGTATTGTC" { printf("@%d: %d:%s\n", yylineno, yycolumn, "OMG! the TTGA pattern again" ); }
"AGGTATCTGCTTCAATCAGCG" { printf("@%d: %d:%s\n", yylineno, yycolumn, "WTF?!" ); }
...
more lines
...
[bd-fh-su-z]+ {;}
[ \t\r\n]+ {;}
. {;}
%%
int main(void)
{
/* Call the lexer, then quit. */
yylex();
return 0;
}
可以使用 awk 或任何其他脚本语言从 txt 输入生成类似于上面的脚本。
关于regex - 从大量文本中提取数千个简单模式的快速算法,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/8697456/