hadoop - MapReduce 洗牌/排序方法

标签 hadoop mapreduce hdfs

有点奇怪的问题,但是有谁知道 MapReduce 在 shuffle/sort 的排序部分使用了什么样的排序?我会考虑合并或插入(与整个 MapReduce 范例保持一致),但我不确定。

最佳答案

这是快速排序,之后将排序后的中间输出合并在一起。 Quicksort 检查递归深度并在太深时放弃。如果是这种情况,则使用 Heapsort。

看看 Quicksort 类:

org.apache.hadoop.util.QuickSort

您可以通过 hadoop-default.xml 中的 map.sort.class 值更改使用的算法.

关于hadoop - MapReduce 洗牌/排序方法,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/5779750/

相关文章:

exception - 检查 oozie 工作流状态时获取 HadoopAccessorException

Hadoop 集群 : bigger nodes or more nodes

java - 使用java在hbase中检索任意三个随机限定符

java - 在hadoop reducer中执行context.write()时出现空指针异常

java - 分析hadoop集群中被杀死的java进程

hadoop - 为什么map任务总是在单个节点上运行

hadoop - HDFS和截断文件

hadoop - 一定数量的警告后如何使 pig 流产?

java - spark 0.9.1 on hadoop 2.2.0 maven 依赖

hadoop - hdfs 日志文件太大