在我当前的 android 项目中,我正在开发一个记录通信数据的应用程序。每个数据包都存储在我的 SQLite 数据库中的一行中。我的一个测试录音有 3.888.530 行。
应用程序应支持导出功能,以将此数据写入 JSON 格式的文本文件。目前我正在使用 LIMIT 函数,读取 5.000 行的包并将它们写入文件。这真的很慢。我认为从数据库读取 15.000 行并将它们写入文件需要超过 60 秒。
为了写作,我使用了 PrintStream。创建一个字符串,并将转换为字节数组的过程提供给流。
我用这个查询读取了我的数据包:
SELECT *
FROM data_packet
INNER JOIN data_packet_type
ON data_packet.data_packet_type_id = data_packet_type.id
WHERE recording_id = 7
ORDER BY time_received ASC
LIMIT 5000 OFFSET 0
查询通过调用执行:
db.rawQuery(query, null);
然后我用游标遍历数据并存储数据。
我希望有一种方法可以更快地导出数据。 谢谢。
最佳答案
我认为,您真的应该删除 LIMIT 函数。
通过使用 LIMIT/OFFSET,您可以强制数据库一遍又一遍地读取相同的行 block ,特别是当您使用 ORDER BY 和/或 JOINS 时。
我会考虑的另一个问题(当我有 db 方案时)是您是否真的需要 JOIN。对我来说,它看起来是可以避免的,但当然数据库可以优化 JOIN,如果没有方案或者 EXPLAIN,我也不能说什么。
如果这没有帮助,我建议只读而不写,所以你可以看到,在这种情况下你是数据库还是写绑定(bind)(正如罗伯特暗示的那样,PrintStream 可能不利于写作 - - 当写入大量数据时,很可能是写入速度慢)。
但是没有db scheme和信息,如果是读或者写的问题,很难有更好的答案!
关于android - 如何从 SQLite 中读取 400 万行并将它们快速写入文件?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30804176/