更新更新:
已解决!看到这个: MongoDB: cannot iterate through all data with cursor (because data is corrupted)
这是由损坏的数据集引起的。不是 MongoDB 或驱动程序。
我正在使用 MongoDB(2.4.6) 的最新 Java 驱动程序(2.11.3)。我有一个包含 ~250M 记录的集合，我想使用游标遍历所有记录。然而，大约 10 分钟后，我得到了一个错误的 cursor.hasNext()，或者一个异常表明游标在服务器上不存在。
在那之后，我了解了游标超时并用 try/catch 包装了我的 cursor.next()。如果有任何异常，或者 hasNext() 在遍历所有记录之前返回 false，程序将关闭游标并分配一个新游标，然后直接跳回上下文。
但后来我读到有关 cursor.skip() 性能问题的信息......程序刚刚达到 ~20M 记录，而 cursor.next() 在 cursor.skip() 抛出“java.util.NoSuchElementException”之后。我相信那是因为跳过操作超时，这使游标无效。
是的，我读过有关 skip() 性能问题和游标超时问题的信息...但现在我认为我陷入了进退两难的境地，解决一个问题会破坏另一个问题。
那么，有没有一种方法可以优雅地遍历庞大数据集中的所有数据？
@mnemosyn 已经指出我必须依赖基于范围的查询。但问题是我想把所有的数据拆分成16份在不同的机器上处理，而且数据在任何单调键空间内都不是均匀分布的。如果需要负载平衡，则必须有一种方法来计算特定范围内的键数并平衡它们。我的目标是将它们分成 16 个部分，所以我必须找到键的四分位数(抱歉，我不知道是否有数学术语)并使用它们来拆分数据。
有什么办法可以实现吗？
当第一次查找是通过获取分区边界键来实现时，我确实有一些想法。如果新光标再次超时，我可以简单地记录最新的 tweetID 并跳回新范围。但是，范围查询应该足够快，否则我仍然会超时。我对此没有信心......
更新:
问题解决了!我没有意识到我不必以大块的方式对数据进行分区。循环作业调度程序将执行此操作。请参阅已接受答案中的评论。
最佳答案
一般来说，是的。如果你有一个单调字段，最好是一个索引字段，你可以简单地沿着它走。例如，如果您使用 ObjectId 类型的字段作为主键，或者如果您有 CreatedDate 或其他内容，您可以简单地使用 $lt查询，取固定数量的元素，然后使用上一批遇到的最小_id或CreatedDate的$lt再次查询.
注意严格的单调行为与非严格的单调行为:如果键不严格，您可能必须使用 $lte，然后防止重复操作。由于 _id 字段是唯一的，ObjectIds 始终是严格单调的。
如果您没有这样的 key ，事情就有点棘手了。您仍然可以“沿着索引”进行迭代(无论是什么索引，可以是名称、哈希、UUID、Guid 等)。这同样有效，但是很难做快照，因为你永远不知道你刚刚找到的结果是否在你开始遍历之前插入，或者没有。此外，当在遍历开始时插入文档时，这些文档将被遗漏。
关于java - MongoDB:无法使用游标遍历所有数据，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/19630795/