mongodb - 获取第 100 行时出现延迟

Question

我正在从集合中获取所有行并在第 100 行遇到延迟。我知道 find 方法返回游标而不是所有预先的数据，并且在某些时候需要获取更多数据。但是第 100 行是唯一的延迟。

Checking images 99
Checking image 100
*pause*
Checking image 101

然后在没有明显延迟的情况下处理多达 100 000 张图像。

使用的 ruby​​ 脚本:

require 'mongo'

time_start = Time.now

mongo = Mongo::MongoClient.new("localhost", 27017)

db = mongo["pics"]

images = db["images"]
albums = db["albums"]

orphans = []

images.find().each do |row|
    puts "Checking image #{row['_id']}"
end

# puts orphans
time_end = Time.now
puts "Total time taken: #{time_end - time_start}"

Used images collection (json)

mongoimport --db pics --collection images file_name

问题是:

• 一些数据是否与初始光标一起出现？
• 为什么唯一的延迟出现在第 100 行？也许我错过了什么，但那时我什至没有看到 IO 读取

谢谢

Answer 1

MongoDB 游标的默认“批量大小”是 100 个对象。意味着 MongoDB 在获取下一批之前获取 100 个对象……这就是您看到延迟的原因。所有驱动程序都应在游标对象上提供方法“batch_size()”或类似方法，用于设置和检索批量大小。