string - 十字交叉地址重复数据删除

Question

我有一个数据库表 person，其中仅捕获人员详细信息。说出姓名、父亲姓名、电子邮件、出生日期、地址证明、身份证明、密码等，我有一个地址表，其中存储了人员地址，例如地址、密码、城市、省份。 Persons 和 Address 与列 addressId(persons) 和 Id(address) 具有外键关系。

NOTE: Using Postgres

现在我要做的是，我得到了一些地址 ID 证明，我必须找出有多少具有相同 POA 或 POI 且具有不同 id 的人，如果某个地方有姓名、父亲姓名和地址(所有三个)匹配)。

联系人架构

地址架构

<表类=“s-表”> <标题> ID 地址 密码 城市 省 <正文> ad_1 维杰街 850 号迷你市场 110056 XYZ ABC ad_2 银行附近南海岸 45 街 285006 移动网络运营商 DEF ad_3 银行附近南海岸 45 街 285006 移动网络运营商 DEF

例如输入 POA Id = poi_1

考虑到输入的poa id，我们可以直接在DB上进行字符串匹配查询。

select * from persons where poi_id = 'poi_1' or poa_id = 'poi_1';

结果是 Id 1,2 的人员记录。 现在，如果您观察到第二个人具有相同的 poi/poa id，但地址不同。现在我们必须考虑这个地址，并根据id 3的响应者来根据这个地址进行重复数据删除。 (姓名、父亲姓名和地址三者必须匹配)

我需要一种优化的方法来解决这个问题。如果我确实喜欢仅查询姓名和父亲姓名，它将进行完整的数据库扫描，这是根本不可行的。对于类似地址的查询也是如此。

我的想法:

select * from addressTable where address like = %input address% and pincode = '285006';

我没有想过每次我应该在什么基础上进行查询时应该如何进行 bcz 以便优化它。

**Note:**

indexes mentioned below 
"person_new_dob_idx" btree (dob) 
"person_new_email_idx" btree (email) 
"person_fst_name_idx" btree (name) 
"person_poa_idx" btree (poa_id) 
"person_new_poi_idx" btree (poi_id) 
"person_addr_id_idx" btree (addr_id) 
"person_dob_primary_pincode_idx" btree (dob, primary_pincode) 

Postgres version:-- 13.4

需要考虑的要点:

1. 在上述示例中，pin 码不同，但同一 pin 码内可能存在不同地址。
2. 注意误报和真阴性。
3. 地址词可能会被打乱或以不同的方式书写相同的地址。

Answer 1

我首先将这些内容留在这里以供引用，以防我的回答没有击中要害。

-- Create Address Table
CREATE TABLE address (
    Id SERIAL PRIMARY KEY,
    Address TEXT NOT NULL,
    Pincode TEXT NOT NULL,
    City TEXT NOT NULL,
    Province TEXT NOT NULL
);

-- Create Person Table
CREATE TABLE persons (
    Id SERIAL PRIMARY KEY,
    Name TEXT NOT NULL,
    Father_Name TEXT NOT NULL,
    Email TEXT NOT NULL,
    DOB DATE NOT NULL,
    POA_Id TEXT NOT NULL,
    POI_Id TEXT NOT NULL,
    Pincode TEXT NOT NULL,
    AddressId INTEGER REFERENCES address(Id)
);

-- Insert statements for data provided
INSERT INTO address (Address, Pincode, City, Province)
VALUES
    ('mini market 850 vijay street', '110056', 'XYZ', 'ABC'),
    ('45 street south coast near Bank', '285006', 'MNO', 'DEF'),
    ('45 street south coast near Bank', '285006', 'MNO', 'DEF');

INSERT INTO persons (Name, Father_Name, Email, DOB, POA_Id, POI_Id, Pincode, AddressId)
VALUES
    ('PN1', 'FN1', '<a href="https://stackoverflow.com/cdn-cgi/l/email-protection" class="__cf_email__" data-cfemail="2a5a441b044c441b6a4e1b04494547" rel="noreferrer noopener nofollow">[email protected]</a>', '2000-01-01', 'poi_1', 'poa_2', '110056', 1),
    ('PN1', 'FN1', '<a href="https://stackoverflow.com/cdn-cgi/l/email-protection" class="__cf_email__" data-cfemail="d9a9b7e8f7bfb7e899bde8f7bab6b4" rel="noreferrer noopener nofollow">[email protected]</a>', '2000-01-01', 'poi_1', 'poi_1', '285006', 2),
    ('PN1', 'FN1', '<a href="https://stackoverflow.com/cdn-cgi/l/email-protection" class="__cf_email__" data-cfemail="5d2d336c733b336c1d396c733e3230" rel="noreferrer noopener nofollow">[email protected]</a>', '2000-01-01', 'poi_3', 'poa_3', '285006', 3);

据我了解，您希望(以有效的方式)查询数据库以查找具有相同地址证明或身份证明的人，然后根据以下三元组(姓名、父亲姓名)对结果进行重复数据删除，和地址)。

基于此，我提出以下查询

-- Import fuzzy matching to add some flexibility to matching addresses
-- (https://www.postgresql.org/docs/9.1/fuzzystrmatch.html)
CREATE EXTENSION fuzzystrmatch;

-- Proposed query
SELECT p1.*
FROM persons p1
JOIN address a1 ON p1.addressId = a1.Id
WHERE (p1.poi_id = 'poi_1' OR p1.poa_id = 'poi_1')
AND EXISTS (
    SELECT 1
    FROM persons p2
    JOIN address a2 ON p2.addressId = a2.Id
    AND p1.Id != p2.Id
    AND levenshtein(p1.name, p2.name) <= 3
    AND levenshtein(p1.father_name, p2.father_name) <= 3
    AND levenshtein(a1.address, a2.address) <= 10
);

在 addressId 和 Id 列上加入 persons 和 address 表将允许您访问单个查询中的 person 和 address 信息(简单明了)。对于地址排序，您可以使用字符串相似度函数，例如 levenshtein() (我在这里使用的)或 pg_trgm()比较姓名、父亲姓名和地址字段。这将允许您查找相似但不一定相同的记录。

结果:

您可以(并且可能应该)调整相似性阈值并测试不同的字符串相似性函数以微调结果。您可能还需要考虑在 name、father_name 和 address 列上使用索引来加快查询速度。