sql - 如何使用基于多个重复列的序列自动对重复行进行编号 (T-SQL)

标签 sql t-sql ssis

尝试使用序列对象创建自动编号行的脚本,其中列 [姓氏、出生日期、性别] 中具有相同值的行被分类为重复项,并且每个重复项分别分配相同的“扩展 ID”,其中由序列对象分配...... 当通过脚本运行新行时,如果无法根据选择的列找到匹配项,则应将 R5 增加到 R6,但如果可以在表中找到匹配项,则应分配“先前分配的”[Ext ID]预先存在的匹配,并且不会冗余地增加新的 [Ext ID]'

Ref Surname Firstname   Birthdate   Sex ExternalSource  Ext ID
1   AAA     AA          1/1/2000    M   Alpha           Null
2   BBB     BB          1/1/2001    F   Beta            Null
3   AAA     AA          1/1/2000    M   Beta            Null
4   CCC     CC          1/1/2003    M   Alpha           Null
5   BBB     BB          1/1/2001    F   Gamma           Null
6   DDD     DD          1/1/2004    M   Beta            Null
7   CCC     CC          1/1/2003    M   Alpha           Null
8   AAA     AA          1/1/2000    M   Gamma           Null

这样脚本就会相应地填充列 [Ext ID],如下表

Ref Surname Firstname   Birthdate   Sex ExternalSource  Ext ID
1   AAA     AA          1/1/2000    M   Alpha           R1
2   BBB     BB          1/1/2001    F   Beta            R2
3   AAA     AA          1/1/2000    M   Beta            R1
4   CCC     CC          1/1/2003    M   Alpha           R3
5   BBB     BB          1/1/2001    F   Gamma           R2
6   DDD     DD          1/1/2004    M   Beta            R4
7   CCC     CC          1/1/2003    M   Alpha           R3
8   AAA     AA          1/1/2000    M   Gamma           R1

业务场景> 该表表示单独业务应用程序中客户的所有记录的并集,并且具有相同姓氏、出生日期和性别的行在这些不同的业务应用程序中被视为相同的“客户”,因此分配相同的值[Ext ID] 有助于将这些相似的行分类在一起,以便可以在外部使用 [Ext ID] 来查询和检索这些值相同的所有记录


进一步说明 假设“所需”脚本填充数据库中加载的“FIRST”基础表的 [EXT ID],请有人创建脚本,用于在另一个包含新行集的表中填充 [EXT ID],以便基于相同的选择列[姓氏、出生日期、性别],如果在此“NEW”表和“FIRST”基础表之间找到匹配项,

Ref Surname Firstname   Birthdate   Sex ExternalSource  Ext ID
9   AAA     AA          1/1/2000    M   Alpha           Null
10  EEE     EE          1/1/2001    F   Beta            Null
11  AAA     AA          1/1/2000    M   Beta            Null
12  CCC     CC          1/1/2003    M   Alpha           Null
13  EEE     EE          1/1/2001    F   Gamma           Null
14  FFF     FF          1/1/2004    M   Beta            Null
15  CCC     CC          1/1/2003    M   Alpha           Null
16  AAA     AA          1/1/2000    M   Gamma           Null

“NEW”表中分配的 [EXT ID] 是从“FIRST”表中的 [EXT ID] 检索的,但如果没有匹配项,则“NEW”表中分配的 [EXT ID] 应继续从“FIRST”基础表中最后分配的[EXT ID]末尾开始,例如,如果“FIRST”表中的[EXT ID]为R12,则“NEW”表中的[EXT ID]应为R13

Ref Surname Firstname   Birthdate   Sex ExternalSource  Ext ID
9   AAA     AA          1/1/2000    M   Alpha           R1
10  EEE     EE          1/1/2001    F   Beta            R5
11  AAA     AA          1/1/2000    M   Beta            R1
12  CCC     CC          1/1/2003    M   Alpha           R3
13  EEE     EE          1/1/2001    F   Gamma           R5
14  FFF     FF          1/1/2004    M   Beta            R6
15  CCC     CC          1/1/2003    M   Alpha           R3
16  AAA     AA          1/1/2000    M   Gamma           R1

原因是,实际上,新的记录会定期从这些业务应用程序中聚合,因此最好始终引用"new"表的“FIRST”基础表中的 [EXT ID],因为此列永久存在作为源业务应用程序的外部引用键

最佳答案

您可以使用DENSE_RANK()SurnameBirthDateSex 的每个独特组合提供一个唯一的数字,然后只需将其放入更新语句即可更新您的列:

UPDATE  t
SET     ExtID = NewExtID
FROM    (   SELECT  ExtID,
                    NewExtID = 'R' + CAST(DENSE_RANK() 
                                            OVER(ORDER BY Surname, Birthdate, Sex) 
                                        AS VARCHAR(10))
            FROM    dbo.YourTableName
        ) AS t;

完整的工作示例

IF OBJECT_ID(N'tempdb..#T', 'U') IS NOT NULL
    DROP TABLE #T;

CREATE TABLE #T
(   Ref INT, 
    Surname VARCHAR(50), 
    Firstname VARCHAR(50), 
    Birthdate DATE, 
    Sex CHAR(1), 
    ExternalSource VARCHAR(50), 
    ExtID VARCHAR(11)
);

INSERT #T (Ref, Surname, Firstname, Birthdate, Sex, ExternalSource)
VALUES
    (1, 'AAA', 'AA', '2000-01-01', 'M', 'Alpha'),
    (2, 'BBB', 'BB', '2001-01-01', 'F', 'Beta'),
    (3, 'AAA', 'AA', '2000-01-01', 'M', 'Beta'),
    (4, 'CCC', 'CC', '2003-01-01', 'M', 'Alpha'),
    (5, 'BBB', 'BB', '2001-01-01', 'F', 'Gamma'),
    (6, 'DDD', 'DD', '2004-01-01', 'M', 'Beta'),
    (7, 'CCC', 'CC', '2003-01-01', 'M', 'Alpha'),
    (8, 'AAA', 'AA', '2000-01-01', 'M', 'Gamma');

UPDATE  t
SET     ExtID = NewExtID
FROM    (   SELECT  ExtID,
                    NewExtID = 'R' + CAST(DENSE_RANK() 
                                            OVER(ORDER BY Surname, Birthdate, Sex) 
                                        AS VARCHAR(10))
            FROM    #T
        ) AS t;

SELECT  *
FROM    #T
ORDER BY Ref;       

附录

为了维护这一点,我建议采用稍微不同的方法,并使用一个单独的表来维护您的 ExtID,这将允许您利用身份列:

CREATE TABLE dbo.Ext 
(
        ID INT IDENTITY(1, 1) NOT NULL,
        Surname VARCHAR(50) NOT NULL,
        BirthDate DATE NOT NULL,
        Sex CHAR(1) NOT NULL,
        ExtID AS 'R' + CAST(ExtIntID AS VARCHAR(10)),
    CONSTRAINT PK_Ext__ID PRIMARY KEY (ID),
);
CREATE UNIQUE NONCLUSTERED INDEX UQ_Ext__Surname_Birthdate_Sex ON dbo.Ext (Surname, Birthdate, Sex);

实际上,如果您的基表上有类似的索引,您可能不需要此 ExtID 列,您只需连接到上表即可获取 ExtID,而不会造成巨大的性能损失,但如果您确实需要的话要更新 ExtID 列,您可以使用:

MERGE dbo.Ext AS e WITH (HOLDLOCK)
USING 
(   SELECT  DISTINCT Surname, Birthdate, Sex
    FROM    dbo.YourTable
) AS t
    ON t.Surname = e.Surname
    AND t.Birthdate = e.Birthdate
    AND t.Sex = e.Sex
WHEN NOT MATCHED THEN 
    INSERT (Surname, Birthdate, Sex)
    VALUES (t.Surname, t.Birthdate, t.Sex);

UPDATE  t
SET     ExtID = r.ExtID
FROM    db.YourTable AS t
        INNER JOIN dbo.Ext AS e
            ON e.Surname = t.Surname
            AND e.Birthdate = t.Birthdate
            AND e.Sex = t.Sex
WHERE   t.ExtID IS NULL;

我使用了MERGE WITH (HOLDLOCK),因为这是我所知道的满足竞争条件并违反唯一约束的最不易受攻击的方法。

如果所有这些都不合适,那么我仍然建议如上所述(如果可能)从标识符中删除 R ,并将其设为整数。如果需要,您可以将文本列创建为计算列:

CREATE TABLE #T
(   Ref INT, 
    Surname VARCHAR(50), 
    Firstname VARCHAR(50), 
    Birthdate DATE, 
    Sex CHAR(1), 
    ExternalSource VARCHAR(50), 
    ExtIntID INT,
    ExtID AS 'R' + CAST(ExtIntID AS VARCHAR(10))
);

这只会使获得最大值变得更容易,并且可能也会使其他用途更容易。

然后,您的更新语句非常相似:

UPDATE  t
SET     ExtIntID = NewExtID
FROM    (   SELECT  t.ExtIntID,
                    NewExtID = CASE WHEN e.ExtIntID IS NOT NULL THEN e.ExtIntID
                                ELSE
                                    ISNULL(m.MaxID, 0) + 
                                    DENSE_RANK() OVER(PARTITION BY e.ExtIntID
                                                    ORDER BY t.Surname, t.Birthdate, t.Sex) 
                                END
            FROM    #T AS t
                    LEFT JOIN
                    (   SELECT  Surname, Birthdate, Sex, ExtIntID = MAX(ExtIntID)
                        FROM     #T
                        GROUP BY Surname, Birthdate, Sex
                    ) AS e
                        ON e.Surname = t.Surname
                        AND e.Birthdate = t.Birthdate
                        AND e.Sex = t.Sex
                    OUTER APPLY (SELECT MAX(ExtIntID) FROM #T) AS m (MaxID)
            WHERE   t.ExtIntID IS NULL              
        ) AS t;

如果您无法创建 INT 列,那么更新也非常相似,您只需要进行更多格式化即可:

UPDATE  t
SET     ExtID = NewExtID
FROM    (   SELECT  t.ExtID,
                    NewExtID = CASE WHEN e.ExtID IS NOT NULL THEN e.ExtID
                                ELSE
                                    'R' + 
                                    CAST(ISNULL(m.MaxID, 0) + 
                                        DENSE_RANK() OVER(PARTITION BY e.ExtID
                                                            ORDER BY t.Surname, t.Birthdate, t.Sex) 
                                        AS VARCHAR(10))
                                END
            FROM    #T AS t
                    LEFT JOIN
                    (   SELECT  Surname, Birthdate, Sex, ExtID = MAX(ExtID)
                        FROM     #T
                        GROUP BY Surname, Birthdate, Sex
                    ) AS e
                        ON e.Surname = t.Surname
                        AND e.Birthdate = t.Birthdate
                        AND e.Sex = t.Sex
                    OUTER APPLY (SELECT MAX(CONVERT(INT, SUBSTRING(ExtID, 2, LEN(ExtID)))) FROM #T) AS m (MaxID)
            WHERE   t.ExtID IS NULL             
        ) AS t;

关于sql - 如何使用基于多个重复列的序列自动对重复行进行编号 (T-SQL),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32697433/

相关文章:

SQL Server 存储过程 - 我可以在一个过程中执行多项操作吗?

SSIS条件拆分 bool 结果

mysql - 如何创建MySQL分层递归查询

mysql - SQL 中具有相似日期的行分组在一起

C# 方法中使用的变量上的上下文错误

c# - 如何在一笔交易中移动记录?或者 SQL 中的生产者-消费者模式

SQL 嵌套查询

sql-server - 我可以在T-SQL的FROM中使用子查询吗?

ssis - 如何使用 SSIS 将存储在多个文件夹中的文件中的数据加载到数据库中?

SSIS如何从Paradox导入数据?