python - 提高查询性能

Question

我需要从 PostgreSQL 数据库中读取和连接大量行(~500k)并将它们写入 MySQL 数据库。

我天真的做法是这样的

    entrys = Entry.query.yield_per(500)

    for entry in entrys:
        for location in entry.locations:
            mysql_location = MySQLLocation(entry.url)
            mysql_location.id = location.id
            mysql_location.entry_id = entry.id

            [...]

            mysql_location.city = location.city.name
            mysql_location.county = location.county.name
            mysql_location.state = location.state.name
            mysql_location.country = location.country.name

            db.session.add(mysql_location)

    db.session.commit()

每个 Entry 都有大约 1 到 100 个 Locations。

此脚本现在运行了大约 20 小时并且已经消耗了 > 4GB 的内存，因为在提交 session 之前所有内容都保存在内存中。

随着我尝试更早提交，我遇到了类似 this 的问题.

如何提高查询性能？它需要变得更快，因为在接下来的几个月中行数将增长到大约 2500k。

Answer 1

由于您已经知道的原因，您的天真方法存在缺陷 - 占用您内存的东西是悬在内存中等待刷新到 mysql 的模型对象。

最简单的方法是根本不使用 ORM 进行转换操作。直接使用 SQLAlchemy 表对象，因为它们也快得多。

此外，您可以做的是创建 2 个 session ，并将 2 个引擎绑定(bind)到单独的 session 中!然后您可以为每个批处理提交 mysql session 。