我正在用 python 对 MySql 数据库中的数据进行分析。我在数据库中查询大约 200,000 行数据,然后使用 Pandas 在 python 中进行分析。我经常会对相同的数据进行多次迭代,更改不同的变量、参数等。每次运行该程序时,我都会查询远程数据库(大约10秒查询),然后在程序完成时丢弃查询结果。我想将上次查询的结果保存在本地文件中,然后每次运行程序时检查查询是否相同,然后使用保存的结果。我想我可以将 Pandas 数据帧写入 csv,但是有没有更好/更简单/更快的方法来做到这一点?
最佳答案
如果出于任何原因 MySQL Query Cache没有帮助,那么我建议以 HDF5 格式或 Feather 格式保存最新的结果集。两种格式都相当快。您可以在这里找到一些演示和测试:
https://stackoverflow.com/a/37929007/5741205
关于python - 存储 MySql 查询结果以便更快地重用,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43211962/