mongodb - 在 MongoDB 中存储非常大的文档

标签 mongodb gridfs nosql

简而言之:如果您有大量不同大小的文档,而达到最大对象大小的文档相对较少,那么将这些文档存储在 MongoDB 中的最佳实践是什么?

我有一组文件,例如:

{_id: ...,
  values: [12, 13, 434, 5555 ...]
}

值列表的长度因文档而异。对于大多数文档来说,它会有一些元素,对于少数文档来说,它会有数千万个元素,我会达到 MongoDB 中的最大对象大小限制。问题是我为那些非常大(并且相对较少)文档提出的任何特殊解决方案可能会影响我存储小文档的方式,否则这些小文档会在 MongoDB 集合中愉快地生活。

据我所知,我有以下选择。我将不胜感激任何关于这些优点和缺点的意见,以及我错过的任何其他选项。

1) 使用另一个数据存储:这似乎太激烈了。我喜欢 MongoDB,而且我没有达到许多对象的大小限制。在单词的情况下,我的应用程序可以区别对待非常大的对象和其他对象。它看起来并不优雅。

2) 使用 GridFS 存储值:就像传统数据库中的 blob 一样,我可以将值的前几千个元素保留在文档中,如果列表中有更多元素,我可以将其余元素保留在 GridFS 中对象作为二进制文件。我无法在这部分进行搜索,但我可以忍受。

3) 滥用 GridFS:我可以将每个文档保存在 gridFS 中。对于大多数(小)文档,二进制 block 将是空的,因为文件集合将能够保留所有内容。其余的我可以将多余的元素保留在 block 集合中。与选项 #2 相比,这会带来开销吗?

4) 真正滥用 GridFS:我可以使用 GridFS 文件集合中的可选字段来存储值中的所有元素。 GridFS 是否也对文件集合进行智能分 block ?

5) 使用一个额外的“关系”集合来存储一对多关系,但是这个集合中的文档数量很容易超过一千亿行。

最佳答案

如果您有大型文档,请尝试将有关它们的一些元数据存储在 MongoDB 中,并将其余数据(您不会查询的部分)放在外部。

关于mongodb - 在 MongoDB 中存储非常大的文档,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/11182671/

相关文章:

Mongodb 聚合框架 |分组多个值?

javascript - 如何处理 MEAN 应用程序中的数据库更改

java - Spring data mongo GridFsOperation.findOne 找不到第一个

design-patterns - 将存储库模式与文档数据库一起使用是否有意义?

c# - 使用 CompositeServerSelector 选择服务器 30000 毫秒后发生超时

mongodb - 引用文档属性以在 mongo 更新查询中更新另一个

mongodb - 在heroku中存储数据库连接字符串的安全方法

javascript - 限制下载次数

python - 蒙戈 : avoid duplicate files in gridfs

ruby-on-rails - Rails has_many 带有一个整数主键和一个字符串外键