我只是想确认我对 0 reducer 和 identity reducer 之间区别的理解。
- 0 reducer 意味着 reduce 步骤将被跳过，mapper 输出将是最终输出
- Identity reducer 意味着洗牌/排序仍然会发生吗？
最佳答案
你的理解是正确的。我将其定义如下:
如果您不需要对 map 结果进行排序 - 您可以设置 0 减少，并且该作业仅称为 map 。
如果您需要对映射结果进行排序，但不需要任何聚合——您可以选择 identity reducer。
为了完成这幅图，我们有第三种情况:我们确实需要聚合，在这种情况下我们需要缩减器。
关于hadoop:0 reducer 和 identity reducer 之间的区别？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/10630447/