postgresql - 使用非空约束优化 Postgres JSONB 查询

Question

我有一个包含 170 万条记录的 Postgres 9.4.4 数据库，以下信息存储在名为 accounts 的表中名为 data 的 JSONB 列中:

data: {
  "lastUpdatedTime": "2016-12-26T12:09:43.901Z",
  "UID": "2c5bb7fd-1a00-4988-8d92-ffaa52ebc20d",
  "data": {
    "country": "UK",
    "verified_at": "2017-01-01T23:49:10.217Z"
  }
}

无法更改数据格式，因为这是遗留信息。

我需要获取国家为UK、verified_at 值不为空且lastUpdatedTime 值大于某些帐户的所有帐户给定值。

到目前为止，我有以下查询:

SELECT * FROM "accounts"
WHERE (data @> '{ "data": { "country": "UK" } }')
AND (data->'data' ? 'verified_at')
AND ((data->'data' ->> 'verified_at') is not null)
AND (data ->>'lastUpdatedTime' > '2016-02-28T05:49:08.511846')
ORDER BY data ->>'lastUpdatedTime' LIMIT 100 OFFSET 0;

以及以下索引:

"accounts_idxgin" gin (data)
"accounts_idxgin_on_data" gin ((data -> 'data'::text))

我已经设法将查询时间缩短到大约 1000 到 4000 毫秒

这是查询的分析:

 Bitmap Heap Scan on accounts  (cost=41.31..6934.50 rows=9 width=1719)
                               (actual time=7.273..1067.657 rows=23190 loops=1)
   Recheck Cond: ((data -> 'data'::text) ? 'verified_at'::text)
   Filter: ((((data -> 'data'::text) ->> 'verified_at'::text) IS NOT NULL)
           AND ((data ->> 'lastUpdatedTime'::text) > '2016-02-01 05:49:08.511846'::text)
           AND (((data -> 'data'::text) ->> 'country'::text) = 'UK'::text))
   Rows Removed by Filter: 4
   Heap Blocks: exact=16039
   ->  Bitmap Index Scan on accounts_idxgin_on_data  (cost=0.00..41.30 rows=1773 width=0)
       (actual time=4.618..4.618 rows=23194 loops=1)
         Index Cond: ((data -> 'data'::text) ? 'verified_at'::text)
 Planning time: 0.448 ms
 Execution time: 1069.344 ms
(9 rows)

我有以下问题

1. 我能做些什么来进一步加快这个查询的速度吗？
2. 使用 JSONB 加速 field is not null 查询的正确方法是什么？我最终使用带有 (data->'data' ? 'verified_at') 的存在运算符来过滤掉大量不匹配的记录，因为我的大部分数据都没有 verified_at 作为顶级 key 。这提高了查询速度，但我想知道是否有优化此类查询的通用方法。
3. 为了将存在运算符与 (data->'data' ? 'verified_at') 一起使用，我需要在 ((data -> 'data': :文本))。我已经在 gin (data) 上有了一个索引，但是存在运算符没有使用它。这是为什么？我以为存在和包含运算符会使用这个索引。

Answer 1

3:不是真的。这个案例是explicitly mentioned in the docs . 当您在列上有索引时 data ，它仅在您查询表时使用，例如 data @> '...'或 data ? '...' .当表达式 (data -> 'data') 有索引时，这些查询可以利用它:(data -> 'data') @> '...'或 (data -> 'data') ? '...' .

2:通常jsonb在 (jsonb_col -> '<key>') is [not] null 期间索引无济于事查询所有。不幸的是，您不能使用 jsonb_col @> '{"<key>":null}'要么，因为 JSON 对象可能完全缺少 key 。也根本不可能反向使用索引(对于 is not null )。但可能有一个技巧......

1:不多。可能会有一些改进，但不要指望巨大的性能优势。所以他们开始了:

您可以使用 jsonb_path_ops运算符类而不是(默认)jsonb_ops .这应该意味着性能上有一点改进，但​​他们不能使用存在运算符 ( ? )。但无论如何我们都不需要它。

您有一个索引不友好的 boolean输入的表达式，这会减慢你的速度。值得庆幸的是，您可以使用 partial index如果您只对 true 感兴趣值(value)观。

因此，您的索引应如下所示:

create index accounts_idxgin_on_data
  on accounts using gin ((data -> 'data') jsonb_path_ops)
  where (data -> 'data' ->> 'verified_at') is not null;

有了这个索引，你可以使用下面的查询:

select   *
from     accounts
where    (data -> 'data') @> '{"country":"UK"}'
and      (data -> 'data' ->> 'verified_at') is not null
and      (data ->> 'lastUpdatedTime') > '2016-02-28T05:49:08.511Z'
order by data ->>'lastUpdatedTime';

注意:对于正确的timestamp比较，你应该使用 (data ->> 'lastUpdatedTime')::timestamptz > '2016-02-28T05:49:08.511Z' .

http://rextester.com/QWUW41874