我的python项目涉及到一个外部提供的数据库:一个大约10万行的文本文件。
此文件将每天更新。
我应该将它加载到 SQL 数据库中，并每天处理 diff 吗？或者是否有一种有效的方法来“查询”这个文本文件？
附加信息:
- 每个“条目”或行包含三个字段 - 其中任何一个都可以用作索引。
- 更新是整个数据库的形式——我将不得不手动生成差异
- 查询只是查找记录并显示文本。
- 查询数据库将是应用程序的一项基本任务。
最佳答案
多久查询一次数据？在一个极端情况下，如果每天一次，您可能会比维护数据库或索引更有效地使用顺序搜索。
对于更多查询和每日更新，您可以构建和维护自己的索引以提高查询效率。最有可能的是，使用 SQL 数据库(或其他数据库，具体取决于您的需要)来换取更简单和更易于维护的代码，在速度上牺牲微不足道(如果有的话)是值得的。
关于python - 大型文本数据库 : Convert to SQL or use as is，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/14795810/