postgresql - 向表中插入数据的最快方法

Question

我有一个 Postgres 数据库，我已经向表中插入了一些数据。由于 Internet 连接问题，部分数据无法写入。我尝试写入数据库的文件很大(大约 330712484 行 - 即使是 ws -l 命令也需要需要一段时间才能完成。

现在，row_id 列是(整数)主键，并且已经编入索引。由于某些行无法插入到表中，因此我想将这些特定行插入到表中。 (我估计只有大约 1.8% 的数据没有插入到表中……)一开始，我试着查看主键是否在数据库中，如下所示:

conn      = psycopg2.connect(connector)
cur       = conn.cursor()

with open(fileName) as f:

    header = f.readline().strip()
    header = list(csv.reader([header]))[0]
    print(header)
    for i, l in enumerate(f):
        if i>10: break
        print(l.strip())

        row_id = l.split(',')[0]

        query = 'select * from raw_data.chartevents where row_id={}'.format(row_id)
        cur.execute(query)
        print(cur.fetchall())

cur.close()
conn.close()

即使对于前几行数据，检查主键是否存在也需要花费大量时间。

最快的方法是什么？

Answer 1

在 PostgreSQL 中插入数据最快的方法是使用 COPY 协议(protocol)，它在 psycopg2 中实现。 COPY 不允许您检查目标 ID 是否已经存在。最好的选择是将文件内容复制到临时表中，然后从中插入或更新，如 Batch Update我在 http://tapoueh.org 上写的文章不久前的博客。

您可以使用足够新的 PostgreSQL 版本

INSERT INTO ...
SELECT * FROM copy_target_table
    ON CONFICT (pkey_name) DO NOTHING