有点奇怪的问题,但是有谁知道 MapReduce 在 shuffle/sort 的排序部分使用了什么样的排序?我会考虑合并或插入(与整个 MapReduce 范例保持一致),但我不确定。
最佳答案
这是快速排序,之后将排序后的中间输出合并在一起。 Quicksort 检查递归深度并在太深时放弃。如果是这种情况,则使用 Heapsort。
看看 Quicksort 类:
org.apache.hadoop.util.QuickSort
您可以通过 hadoop-default.xml 中的 map.sort.class 值更改使用的算法.
关于hadoop - MapReduce 洗牌/排序方法,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/5779750/