sql - MySQL快速从大数据库中删除重复项

Question

我的大型(>Mil 行)MySQL 数据库被重复项弄乱了。我认为它可能是填充它们的整个数据库的 1/4 到 1/2。 我需要快速摆脱它们(我的意思是查询执行时间)。 这是它的外观:
id(索引)|文本1 |文本2 |正文3
text1 & text2 组合应该是唯一的， 如果有任何重复，则只应保留一个与 text3 NOT NULL 的组合。示例:

1 | abc | def | NULL  
2 | abc | def | ghi  
3 | abc | def | jkl  
4 | aaa | bbb | NULL  
5 | aaa | bbb | NULL  

...变成:

1 | abc | def | ghi   #(doesn't realy matter id:2 or id:3 survives)   
2 | aaa | bbb | NULL  #(if there's no NOT NULL text3, NULL will do)

新的 id 可以是任何东西，它们不依赖于旧的表 id。
我试过这样的事情:

CREATE TABLE tmp SELECT text1, text2, text3
FROM my_tbl;
GROUP BY text1, text2;
DROP TABLE my_tbl;
ALTER TABLE tmp RENAME TO my_tbl;

或 SELECT DISTINCT 和其他变体。
虽然他们在小型数据库上工作，但我的查询执行时间非常长(实际上从未到达终点；> 20 分钟)

有没有更快的方法来做到这一点？请帮我解决这个问题。

Answer 1

我相信这会做到，使用重复键 + ifnull():

create table tmp like yourtable;

alter table tmp add unique (text1, text2);

insert into tmp select * from yourtable 
    on duplicate key update text3=ifnull(text3, values(text3));

rename table yourtable to deleteme, tmp to yourtable;

drop table deleteme;

应该比任何需要 group by 或 distinct 或子查询，甚至 order by 的东西都要快得多。这甚至不需要文件排序，这会降低大型临时表的性能。仍需要对原始表进行全面扫描，但无法避免。