hadoop: reducer 输出到另一个 reducer

标签 hadoop mapreduce

如果我们想按相同的键(第一个 reducer 的输出)分组,是否可以将 reducer 的输出直接发送到另一个 reducer

有时在链接时我发现我正在使用一个映射器来读取输入并将其复制到输出。因此想知道 idf 是否可以将输出直接馈送到 reducer

最佳答案

尽管您可以将 map-reduce 作业,甚至是映射器链接在一起;据我所知,您不能直接链接 reducer 。

在内部,您可以使用 ChainMapper 链接映射器 before reducer和链映射器 after reducer with ChainReducer .

关于hadoop: reducer 输出到另一个 reducer ,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/12532392/

相关文章:

java - 我的hadoop2.6.5 HA,当从mysql导入数据时,运行错误java.lang.StackOverflowError

hadoop - Mahout群集崩溃

hadoop - hive 错误:java.lang.Throwable:子错误

cuda - GPU (CUDA) 上是否有 MapReduce 实现?

hadoop - InputSplit大小或map任务数量是否受输入文件数量影响

hadoop - pig 工作在Amazon EMR上被杀死。

java - "sql like"apache 配置单元的替代品

java - 使用 MapReduce 拆分字符串并重建它

hadoop - 如何使hadoop mapreduce的输出作为静态api的输入?

hadoop - 在 MapReduce 中,reduce 任务与 reducer 有何不同