mongodb - 删除除最新文档之外的所有重复项

Question

我想清除集合中特定字段的所有重复项。只留下最早的重复项。

这是我的聚合查询，它非常适合查找重复项:

db.History.aggregate([
  { $group: {
_id: { name: "$sessionId" },  
uniqueIds: { $addToSet: "$_id" },
count: { $sum: 1 } 
  } }, 
  { $match: { 
count: { $gte: 2 } 
  } },
  { $sort : { count : -1} }
 ],{ allowDiskUse:true,
  cursor:{}});

唯一的问题是我还需要执行删除查询并为每个重复项保留最新的条目(由字段“timeCreated”确定:

"timeCreated" : ISODate("2016-03-07T10:48:43.251+02:00")

我到底该怎么做？

Answer 1

就我个人而言，我会利用 ObjectId 值本身是“单调的”或因此“值(value)不断增加”这一事实，这意味着“最年轻的”或“最新的”将出现在自然排序列表的末尾.

因此，最合乎逻辑、最有效的做法是在处理每个响应时对每个文档返回的唯一 _id 值列表进行排序，而不是强制聚合管道进行排序。

所以基本上使用您必须找到的列表:

Remove Duplicates from MongoDB

这实际上是我的答案(你是本周第二个引用的人，但没有收到有用的投票!嗯!)，它只是一个简单的 .sort() 在游标迭代中应用于返回的数组:

使用 _id 值

var bulk = db.History.initializeOrderedBulkOp(),
    count = 0;

// List "all" fields that make a document "unique" in the `_id`
// I am only listing some for example purposes to follow
db.History.aggregate([
    { "$group": {
        "_id": "$sessionId",
        "ids": { "$push": "$_id" }, // _id values are already unique, so $addToSet adds nothing
        "count": { "$sum": 1 }
    }},
    { "$match": { "count": { "$gt": 1 } } }
],{ "allowDiskUse": true}).forEach(function(doc) {
    doc.ids.sort().reverse();    // <-- this is the only real change
    doc.ids.shift();     // remove first match, which is now youngest
    bulk.find({ "_id": { "$in": doc.ids } }).remove();  // removes all $in list
    count++;

    // Execute 1 in 1000 and re-init
    if ( count % 1000 == 0 ) {
       bulk.execute();
       bulk = db.History.initializeOrderedBulkOp();
    }
});

if ( count % 1000 != 0 ) 
    bulk.execute();

使用特定字段

如果您“确实”设置添加另一个日期值来确定哪个是最年轻的，那么只需首先添加到 $push 中的数组，然后应用客户端排序功能。再次只是一个非常简单的更改:

var bulk = db.History.initializeOrderedBulkOp(),
    count = 0;

// List "all" fields that make a document "unique" in the `_id`
// I am only listing some for example purposes to follow
db.History.aggregate([
    { "$group": {
        "_id": "$sessionId",
        "ids": { "$push": { 
            "_id": "$_id",
            "created": "$timeCreated"
        }},
        "count": { "$sum": 1 }
    }},
    { "$match": { "count": { "$gt": 1 } } }
],{ "allowDiskUse": true}).forEach(function(doc) {
    doc.ids = doc.ids.sort(function(a,b) {   // sort dates and just return _id
        return a.created.valueOf() < a.created.valueOf()
    }).map(function(el) { return el._id });
    doc.ids.shift();     // remove first match, which is now youngest
    bulk.find({ "_id": { "$in": doc.ids } }).remove();  // removes all $in list
    count++;

    // Execute 1 in 1000 and re-init
    if ( count % 1000 == 0 ) {
       bulk.execute();
       bulk = db.History.initializeOrderedBulkOp();
    }
});

if ( count % 1000 != 0 ) 
    bulk.execute();

因此，这是一个非常简单的过程，对用于识别重复项然后删除除其中一个之外的所有重复项的原始过程没有“真正”的改变。

这里最好的方法始终是让服务器完成查找重复项的工作，然后在客户端迭代游标时，您可以从返回的数组中计算出哪个文档将被保留以及您要保存哪些文档删除。