我们有一个包含数十亿行的 PostgreSQL 超表,我们正试图在它之上创建一个唯一索引,如下所示:CREATE UNIQUE INDEX device_data__device_id__value_type__timestamp__idx ON public.device_data(device_id, value_type, "timestamp" DESC);
我们像这样创建了超表:SELECT create_hypertable('device_data', 'timestamp');
由于我们希望尽可能快地创建索引,因此我们希望并行创建索引,并遵循 this guide .
我们测试了 work_mem
的各种设置, maintenance_work_mem
, max_worker_processes
, max_parallel_maintenance_workers
, 和 max_parallel_workers
.我们还设置了parallel_workers
我们餐 table 上的设置:ALTER TABLE device_data SET (parallel_workers = 10);
.但是无论我们做什么,索引创建总是只使用一个核(我们有 16 个可用),因此创建需要很长时间。
知道我们在这里可能缺少什么吗?
我们的 PostgreSQL 版本是 12.5,服务器运行 Ubuntu 18。
最佳答案
不幸的是,Timescale 目前不支持并行索引创建。我建议提交一个 Github 问题,要求支持它。这有点繁重,可能不会很快得到优先考虑。我认为另一个可能有用的选项是采用 https://docs.timescale.com/latest/api#create_index transaction_per_chunk
此处的选项并允许用户控制如何创建索引,所以一个简单的 api 将为所有 future 的 block 创建索引,但不会为旧 block 创建索引,然后允许您调用 create_index(chunk_name, ht_index_name)
在所有 block 上,然后您可以在自己的代码中并行化该操作。这最终是一个更简单的提升,因为并行索引创建的事务性是最难的部分。
关于sql - 带有 TimescaleDB 的 PostgreSQL 在索引创建期间仅使用单个核心,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/65906058/