MongoDB:在 Map Reduce 期间收集 E11000 重复键错误

Question

我想计算数组的所有最后一个元素。该数组包含整数，可能为空。

以下 Map Reduce 示例在大型集合(> 1000 万个条目)上崩溃并出现重复键错误:

var map = function() {
    if(this.path.length > 0) {
        emit(this.path.slice(-1)[0], 1);
    }
};
var reduce = function(id, values) {
    var sum = 0;
    values.forEach(function(value) {
        sum += value;
    });
    return sum;
};
db.input.mapReduce(map, reduce, {out: 'output'})

Mongo 版本是 3.2，带有 WT 引擎。该示例在较小的集合(例如 ~500k 条目)上运行良好

完整错误:

2016-02-25T19:20:09.078+0100 E QUERY    [thread1] Error: map reduce failed:{
    "ok" : 0,
    "errmsg" : "E11000 duplicate key error collection: my_db.tmp.mr.input_10 index: _id_ dup key: { : 174.0 }",
    "code" : 11000
} :
_getErrorWithCode@src/mongo/shell/utils.js:23:13
DBCollection.prototype.mapReduce@src/mongo/shell/collection.js:1300:1
@(shell):1:1

Answer 1

mapReduce 示例失败的原因是数组的最后一个元素可以是整数或数组本身。我不确定错误消息试图告诉我什么。

感谢 Blakes Seven，我找到了原因，他提出了聚合管道。它不仅速度更快、代码更少，而且还会崩溃并出现清晰易懂的错误:

assert: command failed: {
    "ok" : 0,
    "errmsg" : "insert for $out failed: { connectionId: 599, err: \"can't use an array for _id\", code: 2, n: 0, ok: 1.0 }",
    "code" : 16996
} : aggregate failed