hadoop - Reduce函数中的值列表是否确定排序?

标签 hadoop mapreduce

如果仅使用默认的排序比较器和分组比较器,我猜Reduce中的值列表的顺序将不确定吗?会是随机的吗?

最佳答案

您应该假定值的顺序将是随机的。默认比较器(实际上是所有比较器)仅比较和分组键,而不是值。

呈现确定值顺序的通用模式要求将部分值潜入键中,并忽略分组分区器和比较器的额外部分,而将其用于排序比较器。

关于hadoop - Reduce函数中的值列表是否确定排序?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/11813512/

相关文章:

hadoop - 无法删除损坏的 Hive 表

java - eclipse hadoop 连接被拒绝

hadoop - Hadoop JobHistoryServer不保存特定的作业

python - 在此MapReduce问题中,如何选择有选择的值之和大于3?

java - Spark 数据集 : Reduce, 数据集的 Agg、Group 或 GroupByKey <Tuple2> Java

json - 执行错误,从 org.apache.hadoop.hive.ql.exec.DDLTask 返回代码 1。 com/mongodb/util/JSON

hadoop - Elasticsearch 在单个查询请求中更新多个字段

scala - 如何格式化 saveAsTextFile 的输出?

hadoop - 如何在将数据插入存储桶时合并由配置单元创建的小文件?

python - 如果我在 MapReduce 作业结束时清理 Google 存储,为什么 BigQuery 不更新?