我正在尝试找到一种更好的方法来使用 python 将数据推送到 sql 数据库。我努力了
dataframe.to_sql()
方法和 cursor.fast_executemany()
但他们似乎并没有提高我现在正在使用的数据的速度(数据位于 csv 文件中)。有人建议我可以使用命名元组和生成器来加载数据,速度比 pandas 快得多。
[一般csv文件大小至少为1GB,推送一个文件大约需要10-17分钟]
我对 python 的许多概念都相当陌生,所以请建议一些方法或至少引用任何显示任何信息的文章。提前致谢
最佳答案
如果您尝试将 csv 按原样插入数据库(即不在 pandas 中进行任何处理),您可以使用 python 中的 sqlalchemy 来执行“批量插入 [参数、文件等]”。或者,我发现可以选择读取 csv、处理、写入 csv,然后批量插入。
否则,请随意指定更多您想要完成的任务、在插入数据库之前需要如何处理数据等。
关于python - 如何使用python提高sql数据库的写入速度,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55852550/