我有一个 MariaDB 表users
,大致如下所示:
id INT PRIMARY KEY AUTOINCREMENT,
email_hash INT, -- indexed
encrypted_email TEXT,
other_stuff JSON
出于隐私原因,我无法在数据库中存储实际的电子邮件。
用于电子邮件的加密不是一对一的,即一封电子邮件可以加密为许多不同的加密表示形式。这使得仅仅在 encrypted_email
列上建立索引毫无意义,因为它永远不会捕获重复项。
数据库中已经有数据,更改加密方法或哈希方法是不可能的。
email_hash
列也不能有唯一索引,因为它应该是一个短哈希,以加快重复检查的速度。它不能太独特,因为它会使所有隐私保证失效。
如何防止数据库中出现具有相同电子邮件地址的两个条目?
另一个限制:我可能无法使用LOCK TABLE
,根据文档https://mariadb.com/kb/en/library/lock-tables/
LOCK TABLES
doesn't work when using Galera cluster. You may experience crashes or locks when used with Galera.
LOCK TABLES
implicitly commits the active transaction, if any. Also, starting a transaction always releases all table locks acquired withLOCK TABLES
.
(我确实使用 Galera,并且确实需要事务,因为插入新用户会伴随着其他几个插入和更新)
<小时/>由于后端应用程序服务器(整体)可以处理个人信息(例如,发送电子邮件、验证登录等),只要它不存储个人信息,我就会在应用程序中进行重复检查。
目前,我正在做这样的事情(伪代码):
perform "START TRANSACTION"
h := hash(new_user.email)
conflicts := perform "SELECT encrypted_email FROM users WHERE email_hash = ?", h
for conflict in conflicts :
if decrypt(conflict) == new_user.email :
perform "ROLLBACK"
return DUPLICATE
e := encrypt(new_user.email)
s := new_user.other_stuff
perform "INSERT INTO users (email_hash, encrypted_email, other_stuff) VALUES (?,?,?)", h, e, s
perform some other inserts as part of the transaction
perform "COMMIT"
return OK
如果两次尝试在时间上分开,则效果很好。但是,当两个线程尝试同时添加同一用户时,两个事务并行运行,执行选择,看不到冲突的重复项,然后都继续添加用户。如何防止这种情况发生,或者至少立即优雅地恢复?
<小时/>这就是比赛的样子,经过简化:
两个线程开始事务
两个线程都执行选择,并且选择在两种情况下都返回零行。
两个线程都假设不会有重复。
两个线程都添加用户。
两个线程都提交事务。
现在有两个用户使用同一电子邮件地址。
最佳答案
在 SELECT
末尾添加 FOR UPDATE
。
此外,由于您使用的是 Galera,因此必须在 COMMIT
之后检查错误。 (即报告与其他节点发生冲突时。)
关于mysql - 防止在不使用索引的情况下插入重复项,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58242378/