我在 Oracle 数据库中有一个包含大量记录的表。假设表格如下所示:
+--------+----------+-------+--------+
| Column | Id | Value | Active |
+--------+----------+-------+--------+
| | 1 | 123 | Y |
| | 2 | 234 | Y |
| | 3 | 12345 | N |
| | 4 | 98765 | Y |
| | ... | ... | ... |
+--------+----------+-------+--------+
我想逐页获取那些 Active 标记为“Y”的记录,以便使用多个线程进行处理(每个线程 1 页)。
为了实现这一点,我可以执行以下查询:
SELECT Value FROM MyTable WHERE Active = 'Y' OFFSET 1000 ROWS FETCH NEXT 1000 ROWS ONLY;
或者在Java中使用以下代码:
QMyTable myTable = QMyTable.myTable;
jpaQueryFactory.select(myTable.value)
.from(myTable)
.where(myTable.active.eq('Y'))
.offset(1000)
.limit(1000)
.fetch();
但是,此查询的性能会降低,因为数据库必须遍历所有以前的记录并丢弃超出范围的记录。
为了获得更好的性能,我可以使用以下查询:
SELECT Value FROM MyTable WHERE Active = 'Y' AND Id > 1000 FETCH NEXT 1000 ROWS ONLY;
Java:
QMyTable myTable = QMyTable.myTable;
jpaQueryFactory.select(myTable.value)
.from(myTable)
.where(myTable.active.eq('Y'))
.where(myTable.Id.gt(1000))
.limit(1000)
.fetch();
上面的代码可以工作,但性能仍然下降(第一页花了 0.1 秒,但在 3M 记录之后花了 7 秒!)。我做错了吗?或者我可以使用任何其他方法来加快速度?
最佳答案
几年前,我公司的一个项目尝试了您正在做的事情。不仅他们的尝试失败了,而且项目也失败了。
以下是您可能遇到的一些危险:
- 数据会在处理过程中发生变化,并且不会处理所有内容。
- 由于
SELECT
中没有ORDER BY
,因此有些行会出现两次,而有些则根本不会出现。 - 如果没有正确的索引,每个查询都会对表进行全面扫描。
- 如果您确实使用索引,查询仍会转到表中查找所有行,直到您想要的行(包括您想要的行)。这可能就是您浏览页面时查询速度变慢的原因。
我强烈建议你重新考虑你的整体解决方案,尽可能在数据库中进行处理。如果您需要“自己动手”处理,请使用 DBMS_PARALLEL_EXECUTE(我认为需要版本 11.2)。
我仍然会尽力回答您提出的问题。
大多数分页要求与您的不同!他们想要将前几页发送到用户界面。您想要将所有 Activity 行分成几页。最有效的方法就是一次性完成。例如:
create table t ( id, active, val) as
with actives(active) as (
select 'Y' from dual union all
select null from dual union all
select null from dual
)
, vals(val) as (
select level from dual
connect by level <= 1000
)
select rownum, active, val
from actives, vals,
(select null from dual connect by level <= 1000);
select count(*) from t;
COUNT(*)
---------
3000000
现在创建一个每页一行的中间表,指示每页的 ROWID 范围。
create table pages(page primary key, start_rowid, end_rowid) as
select * from (
select * from (
select rowidtochar(rowid) rid,
ceil(row_number() over(order by rowid) / 1000) page,
mod(row_number() over(order by rowid), 1000) is_start
from t
where active = 'Y'
)
where is_start in (1, 0)
)
pivot(max(rid) "ROWID" for is_start in (1 as "START", 0 as "END"));
在 1 秒内为 1000 个页面创建了 1000 行。现在让我们看看最后一页中有多少个 Activity 行。
select /*+ gather_plan_statistics */ count(*) from t t
join pages p
on t.active = 'Y'
and p.page = 1000
and t.rowid between p.start_rowid and p.end_rowid;
COUNT(*)
----------
1000
只用了不到 1/100 秒。
这是该查询的执行计划。请注意 TABLE ACCESS BY ROWID RANGE 步骤,以及访问的少量缓冲区。
-------------------------------------------------------------------------------------------
| Id | Operation | Name | Starts | E-Rows | A-Rows | Buffers |
-------------------------------------------------------------------------------------------
| 0 | SELECT STATEMENT | | 1 | | 1 | 13 |
| 1 | SORT AGGREGATE | | 1 | 1 | 1 | 13 |
| 2 | NESTED LOOPS | | 1 | 2500 | 1000 | 13 |
| 3 | TABLE ACCESS BY INDEX ROWID| PAGES | 1 | 1 | 1 | 3 |
| 4 | INDEX UNIQUE SCAN | SYS_C0012519 | 1 | 1 | 1 | 2 |
| 5 | TABLE ACCESS BY ROWID RANGE| T | 1 | 2500 | 1000 | 10 |
-------------------------------------------------------------------------------------------
关于java - 使用 QueryDSL 对 Oracle 数据库进行高效分页,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56983330/