输出键为 NullWritable 时的 Hadoop reducer 输出顺序

标签 hadoop reducers

我正在编写一个 hadoop 应用程序,其最终输出是一个 bmp 图像。我将输出格式更改为 byte,这是我的问题:如果我将输出键设置为 NullWritablereducer 输出顺序 会是什么?

最佳答案

reducer 的输出键类型对 reducer 输出的顺序没有影响 - 它由 reducer 输入键控制,并且通过键 compareTo 方法或原始比较器的自然排序,如果配置。

所以顺序将与你的 reducer 处理记录的顺序相同(除非你的 reducer 维护键/值之间的状态并定期刷新此状态)

关于输出键为 NullWritable 时的 Hadoop reducer 输出顺序,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20854852/

相关文章:

apache - 我在测试hadoop多节点集群时遇到了一些问题

eclipse - 使用 Eclipse 的 Hadoop 程序上的 JsonMappingException

reactjs - Typescript 与复杂的 redux 操作和化简器集成

javascript - 从另一个 reducer 中的一个 reducer 访问 reducer 状态的一部分

angular - NgRx 中的 reducer 增强器相当于什么?

Hadoop 流 : single file or multi file per map. 不要拆分

hadoop - 在 AMAZON EMR 上运行 yarn 应用程序

java - 在两个独立的 MapReduce 作业之间传递值

python - python中的hadoop映射器/还原器

Hadoop - 将 reducer 编号设置为 0 但写入同一文件?