python - 存储 MySql 查询结果以便更快地重用

标签 python mysql database pandas

我正在用 python 对 MySql 数据库中的数据进行分析。我在数据库中查询大约 200,000 行数据,然后使用 Pandas 在 python 中进行分析。我经常会对相同的数据进行多次迭代,更改不同的变量、参数等。每次运行该程序时,我都会查询远程数据库(大约10秒查询),然后在程序完成时丢弃查询结果。我想将上次查询的结果保存在本地文件中,然后每次运行程序时检查查询是否相同,然后使用保存的结果。我想我可以将 Pandas 数据帧写入 csv,但是有没有更好/更简单/更快的方法来做到这一点?

最佳答案

如果出于任何原因 MySQL Query Cache没有帮助,那么我建议以 HDF5 格式或 Feather 格式保存最新的结果集。两种格式都相当快。您可以在这里找到一些演示和测试:

https://stackoverflow.com/a/37929007/5741205

https://stackoverflow.com/a/42750132/5741205

https://stackoverflow.com/a/42022053/5741205

关于python - 存储 MySql 查询结果以便更快地重用,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43211962/

相关文章:

javascript - Rethinkdb Append 说属性不存在

php - Laravel Eloquent Relationships 最新

python - 在 PyMC3 中设置确定性分布

mysql - 使用带有 sql 请求的包含许多文件的完整路径的字符串查找目录内容

python - 三元运算符与 if-else 语句的性能

mysql - 相当于 MySQL DATE_FORMAT() 的 SQL Server

php - SQL 查询根据month_year 获取行

mysql - 如何查找数据库中值之间的关系

Python:获取时间序列线性图中曲线的起止时间

python - 如何从 on_change 方法获取整数 id?