java - 使用 Java 处理来自 postgreSQL 的大量数据

Question

我需要用Java编写一个小程序，从postgreSQL数据库读取大量记录，将它们转换为JSON并将它们写入其他地方。

显然，如果我不想收到内存不足错误，我就无法同时加载所有记录(500000 行)。

在内存中加载 1000 条记录、处理并转到下 1000 条记录的最佳方法是什么？ 有人有主意吗？

Answer 1

默认情况下，Postgres JDBC 驱动程序将完整的 ResultSet 加载到内存中。可以通过关闭自动提交并通过设置大于 0 的提取大小来启用基于游标的检索来防止这种情况。

详细信息参见手册:https://jdbc.postgresql.org/documentation/head/query.html#query-with-cursor

因此，如果您执行以下操作:

Connection con = ....; // open the connection
con.setAutoCommit(false);
Statement stmt = con.createStatement();
stmt.setFetchSize(1000);
ResultSet rs = stmt.executeQuery("select ...");
while (rs.next()) 
{
   // do something with the row
}

这永远不会将超过 1000 行加载到内存中。内存中保存的行数可以通过更改获取大小来控制。

我不知道JPA，但控制自动提交应该是直接的，但我不知道如何通过JPA控制获取大小。可能还取决于您的 JPA 提供商。