java - 从PreparedStatement批处理JDBC中删除重复项

Question

我需要使用一个批处理来更新表。 这批数据正在由我无法更改的算法填充。 但它正在做这样的事情:

String updateFilter = "UPDATE payload_roas SET filtered = TRUE WHERE asn = ? AND prefix= ? AND max_length = ?";
PreparedStatement ps=  connection.prepareStatement(updateFilter);

            for(int i = 0; i < roas.size(); i++) {
               roa = roas.get(i);
               ps.setLong(1, roa.getAsn());
               ps.setObject(2, roa.getPrefix(), OTHER);
               ps.setInt(3, roa.getMax_length());
               ps.setBoolean(4, roa.isWhitelist);
               ps.setBoolean(5, roa.isFilter);
               ps.addBatch();
        }

这个批处理相当大，大约有 50K 条目。因此，当我执行executeBatch 时，它会花费很多时间，这并不奇怪。 然而，这个 ps 包含大量重复项，这意味着它正在进行多次冗余更新。有没有办法对此批处理执行不同的操作以删除这些重复项？

Answer 1

你可以尝试做这样的事情:

String updateFilter = "UPDATE payload_roas SET filtered = TRUE WHERE asn = ? AND prefix= ? AND max_length = ?";
PreparedStatement ps=  connection.prepareStatement(updateFilter);
HashSet<String> hashKeys = new HashSet<>();
for(int i = 0; i < roas.size(); i++) {
    roa = roas.get(i);
    String key = roa.getAsn() + roa.getPrefix().toString() + roa.getMax_length() + roa.isWhitelist + roa.isFilter;
    if (!hashKeys.contains(key)) {
        hashKeys.add(key);
        ps.setLong(1, roa.getAsn());
        ps.setObject(2, roa.getPrefix(), OTHER);
        ps.setInt(3, roa.getMax_length());
        ps.setBoolean(4, roa.isWhitelist);
        ps.setBoolean(5, roa.isFilter);
        ps.addBatch();
    }
}