我有一本很长的关于生物医学实体的术语词典。每个术语(键)都有一个标识符(值)列表。
我必须在自由文本中找到这个术语。我有几本大约有 300,000 个术语的词典,对于这项任务,我使用 Python 和 Java 来评估速度。
该算法类似于(在 Python 中):
for sentence in text_list:
terms = dictionary.keys()
pattern = re.compile("|".join(terms))
matches = pattern.finditer(sentence)
for m in matches:
ini = m.start()
end = m.end()
match = m.group(1)
save_result(ini, end, match)
我正在使用pypi.python.org/pypi/regex打包,因为标准重新打包无法编译我的长正则表达式。另外,我在Java中也做了同样的算法。
我使用了大约 650,000 个句子,在 Python 中,编译需要 3-4 分钟,算法可以在 3-4 小时内完成。
Java 在几秒钟内编译正则表达式,但算法需要 16-18 小时...O_o
我一直在阅读不同的网站和 http://swtch.com/~rsc/regexp/regexp1.html有一个有趣的信息,但我不知道如何处理。
我的问题是...我已经实现了在大约 3 小时内完成所有句子,您知道另一种方法可以在更短的时间内实现相同的目标吗?也许用其他语言,或者使用其他库或包? (在 Java 中,我使用标准库 java.util.regex.*
)。上面的网站讨论了 Thonpson NFA 算法,有这个算法的 Java、Python 或其他库或包吗? grep
(Linux)是一个强大的工具,你认为我会使用它吗?
最佳答案
正则表达式不适合这项工作。使用您的术语创建一个字典(哈希表的 Python 名称),将文本拆分为单词(使用 string.split 和 string.rstrip 删除标点符号),然后对照此字典检查文本中的每个单词。
关于java - 映射任务中长正则表达式的最佳选择是什么?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/11722871/