mongodb - 一种确保在 MongoDb 的 findAndModify 中独占读取的方法？

Question

我有一个 MongoDB 集合(用作作业队列)，多个进程使用 findAndModify 从中读取记录。 FindAndModify 搜索 active 字段为“false”的记录，将其设置为“true”，这样其他进程就不会读取相同的记录。

问题是查看日志，我看到不同的进程仍然读取相同的记录。这似乎发生在两个进程同时从队列中读取时。有什么方法可以确保一次只有一个进程从集合中读取数据？

我正在使用 Mongo 2.2.3 和 pymongo 2.2。

非常感谢!

编辑:有问题的日志是:

worker.3 2013-03-18 23:57:45,434 default-worker-3
project_name INFO Queue job: job id: 5147a90f68e8fe0097002bdf

worker.3 2013-03-18 23:57:47,608 default-worker-3
project_name INFO Input: 14497 docs

worker.2 2013-03-18 23:57:45,440 default-worker-2
project_name INFO Queue job: job id: 5147a90f68e8fe0097002bdf

worker.2 2013-03-18 23:57:47,658 default-worker-2
project_name INFO Input: 14497 docs

如您所见，worker.3 和 worker.2 从队列中读取相同的作业(两个 worker 具有相同的 mongodb id)。

查找和修改命令:

query = {"active": False}
try:
    return self.collection.find_and_modify(
            query=query,
            update={"$set": {"active": True}},
            upsert=False,
            sort={"added_on": 1},
            limit=1
        )
except Exception, exc:
    LOGGER.exception(exc)

Answer 1

让我说清楚一点——在您的场景中，两个不同的 findAndModify 命令不可能返回同一个文档。

不可能。以下是执行该工作的方法的前几行:

    Lock::DBWrite lk( ns );
    Client::Context cx( ns );

    BSONObj doc;

    bool found = Helpers::findOne( ns.c_str() , queryOriginal , doc );

请注意第 122 行，其中在查找之前获取了 WRITE 锁。

https://github.com/mongodb/mongo/blob/master/src/mongo/db/commands/find_and_modify.cpp#L122

不可能两个进程同时持有写锁。似乎更有可能发生了一些不同的事情(多个文档具有相同的 id 值，调用 find_and_modify 的函数返回相同的文档并将其返回给两个线程，其他我们不知道的事情不足以推测)。

FindAndModify 是一个原子命令，在其执行期间持有独占写锁。我的建议是深入了解日志真正向您展示的内容，而不是根据对必须发生的事情的不正确/无根据的假设来更改您的代码。