数据库表中大约有 1000 条记录。有一个名为 title 的列，用于存储文章的标题。在插入记录之前，我需要检查该表中是否已经存在具有相似标题的文章。如果是这样，我就跳过。
执行这种模糊匹配的最快方法是什么？假设句子中的所有单词都可以在英语词典中找到。如果句子 #1 中 70% 的单词可以在句子 #2 中找到，我们就认为它们匹配。理想情况下，算法可以预先计算每个句子的值，以便将该值存储在数据库中。
最佳答案
对于 1000 条记录，做一些愚蠢的事情并迭代所有记录是可行的(假设字符串不太长并且您不会遇到太多查询)。只需从数据库中提取所有标题，然后根据它们与给定字符串的距离对它们进行排序(例如，您可以使用 Levenshtein distance 作为此指标)。
进行近似字符串匹配的一种更奇特的方法是预先计算所有字符串的 n 元语法并将它们存储在数据库中(某些系统本身支持此功能)。这肯定会提高性能，但这可能意味着更多的工作:
关于algorithm - 英语句子与数据库中存储的一组英语句子的模糊匹配，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/6481906/