我对 GAE 中 MapReduce 支持的状态和文档感到非常困惑。
在官方文档中https://developers.google.com/appengine/docs/python/dataprocessing/ ,有一个例子,但是:
- 应用程序使用mapreduce.input_readers.BlobstoreZipInputReader,我想使用mapreduce.input_readers.DatastoreInputReader。文档提到了DatastoreInputReader的参数,但没有提到发送回 map 功能的返回值......
- 应用程序“演示”(Helloworld 页面)有一个 mapreduce.yaml 文件,该文件未在应用程序中使用???
所以我找到了http://code.google.com/p/appengine-mapreduce/ 。这是一个带有 mapreduce.input_readers.DatastoreInputReader 的完整示例,但据说还不支持归约阶段!
所以我想知道是否可以使用 DatastoreInputReader 实现第一种形式的 MapReduce,以执行真正的 Map/Reduce 以获得 GROUP BY 等效项?
最佳答案
第二个示例来自早期版本,它确实只支持映射器阶段。然而,正如第一个示例所示,现在支持完整的映射/归约功能并且已经支持了一段时间。 mapreduce.yaml来自早期版本,现在不再使用。
我不确定您的实际问题是什么。毫不奇怪,从 DatastoreInputReader 发送到映射函数的值是从被映射的类型中获取的单个实体。
关于python - Google App Engine 上的 Mapreduce,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/19162733/