我正在尝试查询 MySQL 数据库中的一个表(我有主键,它由两个类别组成,一个名称和一个数字,但进行字符串比较),这样这个表可能有从很几行到数亿以上。现在,为了提高效率,我不确定实际执行 INSERT
的成本是多少。查询,但我有几个选择:
- 我可以查询数据库以查看元素
EXISTS
然后调用INSERT
查询是否没有。 - 我可以尝试暴力破解
INSERT
到数据库中,无论成功还是失败,就这样吧。 - 我最初可以在程序执行时创建缓存/存储,获取主键列并将它们存储在
Map<String, List<Integer>>
中然后搜索该名称是否存在的键,如果存在,则在List<Integer>
中执行键和值组合存在,如果不存在,则INSERT
查询数据库。 - ?
选项一确实不在我真正要实现的表上,只是在可能的选择列表上。对于独特的事件,选项二很可能平均更好,因此它不在表中。如果缓存中有很多内容是常见的情况,则选项三会更受欢迎。
请记住,选择的选项可能会迭代数百万次。除了内存使用(来自选项 3),根据我的计算,它与可用容量无关。
最佳答案
让数据库完成工作。
你应该做第二种方法。如果不想失败,可以使用on duplicate key update
:
insert into t(pk1, pk2, . . . )
values ( . . . )
on duplicate key update set pk1 = values(pk1);
on duplicate key update
的唯一目的是不做任何有用的事情,但不返回错误。
为什么这是最好的解决方案?在数据库中,主键(或声明为唯一的列)具有索引结构。这对于数据库使用来说是高效的。
其次,这只需要往返数据库一次。
第三,如果您有多个线程或应用程序可能试图插入相同的记录,则没有竞争条件。
第四,带有on duplicate key update
的方法将适用于一次插入多行。 (如果没有 on duplicate key insert
,那么如果单行重复,多值语句就会失败。)将多个插入组合到一个语句中可能是另一个巨大的效率。
您的第二个选择确实是正确的方法。
关于java - 使用 java JDBC 确定行是否存在并插入 MySQL 的最有效方法,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40704478/