<分区>
我对reducer的理解是,它从sort和shuffle的中间o/p文件中处理一对键值对。我不知道如何访问具有排序和混洗键值对的中间文件。一旦无法访问中间文件,就无法在reducer模块中编写代码来选择最大的key。我不知道如何对一次接收一对 K、V 的 reducer 进行编程,以仅将最大的键及其对应的值打印到最终输出文件。
假设这是来自映射器的中间文件,它也经过了排序和混洗..
1个
2 是
4 这是什么
我希望 reducer 在最终输出文件中只打印“4 this what”。由于 reducer 的内存中没有整个文件。不可能在reducer中写这个逻辑。我想知道是否有任何 API 支持从中间文件中选择最后一行,该行最终将具有最大键(键将默认排序)
或
我是否必须覆盖默认排序比较器才能实现我想要实现的目标???