hadoop - Hadoop中的reducer有什么好处？

Question

在以下情况下，我看不到Hadoop中的reducer有什么值(value):

Map Tasks生成唯一键(因为我们可以将Map / Reduce功能合并在一起)

映射任务的输出大小太大(如果我们等待化简器开始工作，这将耗尽内存)

如果我们有不需要对键进行分组和排序的任何功能

如果我错了，请纠正我。

如果有人可以给我一个关于 reducer 的好处以及何时使用的真实例子，我将不胜感激。

Answer 1

当您需要执行诸如聚合/分组等操作时，Reducer是有益的(或必需的)。

仅供引用:Reducer用于将来自不同映射器的键的不同值分组。因此，对于不需要分组/聚合的用例，没有必要使用reducer(可以将其设置为Zero，这意味着仅 map 作业)。

我能想到的一个快速用例是-您想将一个大文件随机拆分为多个零件文件。在这种情况下，您将为“仅 map ”作业提供大文件(例如100G)。所有 map 都会读取一部分文件，并将其作为文件的一部分写入。