python - 如何使用python从mongoDB中的10亿个文档中获取随机单个文档？

Question

<分区>

Answer 1

我从未在 Python 中使用过 MongoDB，但是对于您的问题有一个通用的解决方案。这是一个用于获取单个随机文档的 MongoDB shell 脚本:

N = db.collection.count(condition)
db.collection.find(condition).limit(1).skip(Math.floor(Math.random()*N))

condition 这里是一个 MongoDB 查询。如果要查询整个集合，请使用 query = null。

这是一个通用的解决方案，因此它适用于任何 MongoDB 驱动程序。

---

更新

我运行了一个基准测试来测试几个实现。首先，我创建了包含 5567249 个文档的测试集合，这些文档具有 indexed 随机字段 rnd。

我选择了三种方法相互比较:

第一种方法:

db.collection.find().limit(1).skip(Math.floor(Math.random()*N))

第二种方法:

db.collection.find({rnd: {$gte: Math.random()}}).sort({rnd:1}).limit(1)

第三种方法:

db.collection.findOne({rnd: {$gte: Math.random()}})

我将每个方法运行 10 次并得到它的平均计算时间:

method 1: 882.1 msec
method 2: 1.2 msec
method 3: 0.6 msec

这个基准表明我的解决方案不是最快的。

但是第三种解决方案也不是很好，因为它使用 rnd > random() 找到数据库中的第一个元素(按自然顺序排序)。所以，它的输出并不是真正随机的。

我认为第二种方法最适合频繁使用。但它有一个缺陷:需要改变整个数据库并确保额外的索引。