machine-learning - 给定 2 个多元数据集，识别代表同一实体的记录，这些记录略有不同

Question

我们以有 2 个数据源为例，数据大小分别为“m”和“n”。两个数据集都是具有相同架构但数据不同的 SQL 表。我们的目标是“标记”足够相似以考虑“相同”的模糊匹配(数据集之间)。

CREATE TABLE player(
    id Integer,
    fname VARCHAR(64),
    lname VARCHAR(64),
    birth_dt datetime,
    weight Integer
)

虽然大多数组合 (m*n) 不会匹配，但我们希望标记“相似”匹配，如下所示:

{"fname": "John", "lname": "Smith", "birth_dt": "6/6/91", "weight": 220}
{"fname": "Jack", "lname": "Smith", "birth_dt": "6/6/91", "weight": 210}

是否有任何工具(开源或非开源)可以很好地识别和标记这些“匹配项”？

Answer 1

这是“record linkage”的问题，该关键字将帮助您找到有关该问题的大量文献。

开源Python库dedupe ，提供了一种综合方法。