我正在考虑在网络浏览器中使用 JavaScript 存储和检索时间序列数据。我预计每秒有 500 - 5000 个浮点项目进行趋势分析。存储时,每个项目都将具有唯一的标记名称、相同的时间戳 (Date.now()) 和浮点值。
在检索数据时,我通常有兴趣获取单个标记名称的值数组,其中时间戳落在指定范围内。
我的问题是我不理解indexedDb数据模型和API。是否可以通过一次调用存储我的所有新值(为所有 1000 个标签每秒生成一次)?
我用 Dexie 作为 indexedDb 的包装器进行了一些实验,这是我的测试代码:
async function start() {
// Define database
await Dexie.delete('trendDatabase');
var db = new Dexie("trendDatabase");
db.version(1).stores({
trends: '++id,trendId,timestamp,value'
});
console.log ("Using Dexie v" + Dexie.semVer);
// Query Database
var result1 = await db.open();
//add 1000 values for two trends
var trendId1 = "FI-100";
var trendId2 = "FI-200";
var t1 = Date.now();
for (var i=0; i<1000; i++) {
var timestamp1 = t1 - (1000 + i) * 1000;
var value1 = Math.sin(i/10)*8;
var storeResult = await db.trends.add({trendId: trendId1, timestamp: timestamp1, value: value1});
var value2 = Math.cos(i/100)*4;
var storeResult = await db.trends.add({trendId: trendId2, timestamp: timestamp1, value: value1});
}
var t2 = Date.now();
console.log("Took: ", t2 - t1);
var t3 = Date.now();
console.log("Took: ", t3 - t2);
console.log(result3);
var result4 = db.delete();
}
最大的问题是存储速度有多慢。在我的笔记本电脑上,存储 2000 个数据点需要 52 秒(但检索 1000 个数据点只需要 11 毫秒)。在我的拥有 optane 存储的台式机上,存储大约需要 2 秒。无论哪种情况,这都太慢了。我需要能够每秒存储一次,因此我需要 < 1000 毫秒的存储速度,最好是 < 100 毫秒。
是否有更好的方法在indexedDb中构建时间序列数据?
我的一个想法是,我可以一次存储所有趋势的最新 100 点数据,然后为每个趋势写入 100 点数据 block (按每个趋势的循环顺序),以减少写入调用的数量100 倍。这也使得检索最近的数据(在最后 100 秒内)时,当我只想要其中的一小部分时,我最终会获得所有 1000 个标签的值,所以我必须做一些过滤工作剔除不相关的数据。这种方法可能是可行的,但我想在经历所有麻烦之前询问社区,看看是否有更好的方法或任何其他项目/库来完成这样的事情。
最佳答案
很好,您发现可以使用 Table.bulkAdd() 代替 Table.add() (看到您自己对问题的回答)
对于查询部分,我理解您希望在查询中包含标签和时间范围。
我认为标签部分与 trendId 相同?
如果是这样,我建议您迁移架构以使用 [trendId+timestamp] 的复合索引,以提高查询效率。
还建议您将数据库实例保留在 start() 函数之外。在模块中声明它并导出它。
db.js
// db.js
export const db = new Dexie('trendDatabase');
db.version(1).stores({
trends: '++id,trendId,timestamp,value'
});// (Keep version 1 if you or your users have it installed)
// Migrate schema:
db.version(2).stores({
trends: '++id, [trendId+timestamp]'
});
查询.js
// query.js
import { db } from './db';
export function query(trendId, timeFrom, timeTo) {
return db.trends
.where('[trendId+timestamp]')
.between([trendId, timeFrom], [trendId, timeTo])
.toArray();
}
log.js
import { db } from './db';
export async function log(trends) {
await db.trends.bulkAdd(trends);
}
如您所见,您只需对将在 where 子句中使用的属性建立索引。这并不意味着您可以为每个对象存储其他属性。
关于javascript - 使用indexedDb高效存储和检索时间序列数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54789954/