我正在编写一个 hadoop
应用程序,其最终输出是一个 bmp
图像。我将输出格式更改为 byte
,这是我的问题:如果我将输出键设置为 NullWritable
,reducer 输出顺序
会是什么?
最佳答案
reducer 的输出键类型对 reducer 输出的顺序没有影响 - 它由 reducer 输入键控制,并且通过键 compareTo
方法或原始比较器的自然排序,如果配置。
所以顺序将与你的 reducer 处理记录的顺序相同(除非你的 reducer 维护键/值之间的状态并定期刷新此状态)
关于输出键为 NullWritable 时的 Hadoop reducer 输出顺序,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20854852/