android - 如何从 SQLite 中读取 400 万行并将它们快速写入文件?

标签 android sqlite

在我当前的 android 项目中,我正在开发一个记录通信数据的应用程序。每个数据包都存储在我的 SQLite 数据库中的一行中。我的一个测试录音有 3.888.530 行。

应用程序应支持导出功能,以将此数据写入 JSON 格式的文本文件。目前我正在使用 LIMIT 函数,读取 5.000 行的包并将它们写入文件。这真的很慢。我认为从数据库读取 15.000 行并将它们写入文件需要超过 60 秒。

为了写作,我使用了 PrintStream。创建一个字符串,并将转换为字节数组的过程提供给流。

我用这个查询读取了我的数据包:

SELECT * 
FROM data_packet 
INNER JOIN data_packet_type 
    ON data_packet.data_packet_type_id = data_packet_type.id 
WHERE recording_id = 7 
ORDER BY time_received ASC 
LIMIT 5000 OFFSET 0

查询通过调用执行:

db.rawQuery(query, null);

然后我用游标遍历数据并存储数据。

我希望有一种方法可以更快地导出数据。 谢谢。

最佳答案

我认为,您真的应该删除 LIMIT 函数。

通过使用 LIMIT/OFFSET,您可以强制数据库一遍又一遍地读取相同的行 block ,特别是当您使用 ORDER BY 和/或 JOINS 时。

我会考虑的另一个问题(当我有 db 方案时)是您是否真的需要 JOIN。对我来说,它看起来是可以避免的,但当然数据库可以优化 JOIN,如果没有方案或者 EXPLAIN,我也不能说什么。

如果这没有帮助,我建议只读而不写,所以你可以看到,在这种情况下你是数据库还是写绑定(bind)(正如罗伯特暗示的那样,PrintStream 可能不利于写作 - - 当写入大量数据时,很可能是写入速度慢)。

但是没有db scheme和信息,如果是读或者写的问题,很难有更好的答案!

关于android - 如何从 SQLite 中读取 400 万行并将它们快速写入文件?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30804176/

相关文章:

android - ViewPager 中的中心 fragment

sqlite - 在 SQLite 替换函数中使用 collat​​e nocase 的语法

python - sqlite3.connect() 在 python 3.3 中不起作用

java - 如何保护android中的sqlite db不被盗

java - 将 EditText 和 Spinner 数据插入 SQLite?

android - 为Android Sqlite数据库设置密码

android - Android 上的间歇性 HttpClient GET 问题

Java/安卓 : anonymous local classes vs named classes

Android Intent 发布 URL?

android - 如何检测 Android 上的语言是否为英语(所有变体)?