javascript - MongoDB MapReduce、日期和 % 运算符

Question

我有一个 python 脚本女巫的问题，我用它来将大型集合聚合成较小的部分，并让它们按时间戳分组。

map = Code("function(number) {"
    "emit({"
        "ts : new Date(new Date((this.ts - (this.ts % (60 * number))) * 1000).setSeconds(0))"
   "}, 1);"
"}")

reduce = Code("function(key, vals) {"
    "var sum = 0;"
    "for (var i in vals) {"
        "sum += vals[i]"
    "}"
    "return sum;"
"}")

如您所见，这是一个非常简单的 MapReduce，时间戳 (ts) 应该按给定的分钟数分组。我在这里测试了 Javascript http://jsfiddle.net/QgMzK/1/它似乎工作正常。但是当我在 Python 中运行它时，所有时间戳都变成 ISODate("1970-01-01T00:00:00Z")。

有什么想法吗？

Answer 1

你的 map 函数有一个参数:number，当被 map-reduce 调用时，它会被设置为 null 并且在转换之后(和一些 % 为零)将使您的 map 返回 ISODate("0NaN-NaN-NaNTNaN:NaN:NaNZ") 的日期。这在类型转换后变为 datetime.datetime(1970, 1, 1, 0, 0)。

删除参数，它应该可以工作。

编辑

要确认这一点，请尝试运行此代码:

from pymongo import Connection
from bson.code import Code

db = Connection().mr_test
for i in xrange(10):
    db.things.insert({"x" : i})


map = Code("function(number) {"
    "emit({"
        "ts : number"
    "}, 1);"
"}")

reduce = Code("function(key, vals) {"
    "var sum = 0;"
    "for (var i in vals) {"
        "sum += vals[i]"
    "}"
    "return sum;"
"}")


result = db.things.map_reduce(map, reduce, "test_results")
for doc in result.find():
    print doc

我机器上的结果是:

{u'_id': {u'ts': None}, u'value': 10.0}

注意结果中的ts是None，因为执行映射函数时没有设置number。

编辑2

AFAIK 将参数传递给 map 的唯一方法是在 map_reduce 中使用 scope 可选参数，但是你必须无论如何将其从 map 签名中删除。

因此，将您的 map 更改为:

map = Code("function() {"
    "emit({"
        "ts : new Date(new Date((this.ts - (this.ts % (60 * number))) * 1000).setSeconds(0))"
    "}, 1);"
"}")

并通过调用:

db.whatever.map_reduce(map, reduce, "collection_name", scope = {"number" : the_value_your_function_needs}) 

你可以得到你想要的结果。