hadoop - Partitioner 何时在 Map Reduce 中运行?

标签 hadoop mapreduce

根据我的理解,mapper 首先运行,然后是 partitioner(如果有),然后是 Reducer。但是如果我们使用 Partitioner 类,我不确定 Sorting 和 Shuffling 阶段何时运行?

最佳答案

近距离观察

下图解释了完整的细节。

从这个图中,您可以看到 Word Count 应用程序的映射器和缩减器组件适合的位置,以及它如何实现其目标。我们现在将更详细地研究这个系统。 mapreduce流

enter image description here

关于hadoop - Partitioner 何时在 Map Reduce 中运行?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39844459/

相关文章:

hadoop - apache.hadoop.security.AccessControlException:权限被拒绝

hadoop - 线程 "main"java.lang.NoClassDefFoundError : org/apache/hadoop/yarn/exceptions/YarnRuntimeException 中出现异常

hadoop - 在用 Java 编写 MR 代码时,如何决定何时使用 Map-Side Join 或 Reduce-Side?

linux - hadoop 用户应该在 sudoers 文件中吗?

hadoop - Pig 如何处理否定空值?

xml - XML 文件的 "Hive Runtime Error while processing row"

hadoop - Hadoop grep搜索输出-作业计数器

Hadoop 作业和任务跟踪器不工作

hadoop - 具有主机名的Hadoop安装失败

mongodb - 如何计算mongo reduce函数中两个字段的计数和唯一计数