java - 多次插入后 hibernate 变慢

Question

我有一个问题。在我的解决方案中，我需要将数千个数据插入数据库。我正在使用批处理准备语句在一个请求中插入多行。在我调用插入几次之后， hibernate 变得更慢了。

我猜它会在我提交后检查数据库是否有更改。也许我需要电话 hibernate 不这样做，但我不知道怎么做。

Session session = em.unwrap(Session.class);
        while (!stop) {
            if (data.size() == 0) {
                try {
                    t.sleep(100); // další kontrola fronty
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            } else {
                session.doWork(new Work() {
                    @Override
                    public void execute(Connection connection) throws SQLException {
                        try {
                            PreparedStatement ps = connection.prepareStatement("INSERT INTO data_data (Data_channelId,Data_nodeAddress,Data_subsystemId,data) VALUES (?,?,?,?)");
                            int pocet = data.size();
                            for (int i = 0; i < pocet; i++) {
                                Data item = data.get(0);
                                try {
                                    ps.setByte(1, item.getGlobal_id().getChannelId());
                                    ps.setShort(2, item.getGlobal_id().getNodeAddress());
                                    ps.setInt(3, item.getGlobal_id().getSubsystemId());
                                    ps.setDouble(4, item.getData().get(0));
                                    ps.addBatch();
                                } catch (SQLException e) {
                                    e.printStackTrace();
                                }
                                data.remove(0);
                            }
                            ps.executeBatch();
                            System.out.println(System.currentTimeMillis() + " Commited: " + pocet);

                        } catch (SQLException e) {
                            e.printStackTrace();
                        }
                    }
                });
                session.clear();

                try {
                    t.sleep(100); // Zjistit, zda je úspornější nechat větší frontu, nebo ne
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            }
        }

当我不使用来自 hibernate 的 session ，而是创建另一个简单的连接 con = DriverManager.getConnection(... 然后它工作正常。

感谢您的帮助。

Answer 1

序列中的许多插入导致 hibernate 逐渐减慢。这是因为您插入的行保留在 session 中，直到 session 关闭或 session 被刷新和清除。 我无法清楚地理解你为什么用这种方式编码，但我建议你每隔一段时间在 for 循环中调用 session.flush() 和 session.clear() 。例如，如果你想保持批处理大小为 20，记录数为 10000，则在每提取 20 条记录后调用 flush 和 clear 方法。这将大大提高性能。