java - 根据键/值对 (HADOOP) 将输出减少到所需文件

标签 java hadoop mapreduce key-value reduce

是否可以根据 key 将 reducer 输出发送到多个文件?就像,

if(key1)
 {
        //output to file1 using context.write() or otherwise
  }
 else
 {
        //output to file2 using context.write() or otherwise
 }

最佳答案

您应该能够在您的 reducer 中使用条件逻辑以及 MultipleOutputs类来实现您想要做的事情。他们在链接的 javadoc 中提供了如何执行此操作的示例。

关于java - 根据键/值对 (HADOOP) 将输出减少到所需文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/16152232/

相关文章:

java - 测试 Java 是否支持 -XX 选项

java - 做内功不好吗?

java - 我应该在单例中使用哪个android上下文?

unix - SSH 权限被拒绝错误

javascript - 将 mongodb mapReduce 结果写入文件

java - 使用本地 dtd 进行 xml 验证使用 java 传递本地 xml 和 dtd 文件

date - 如何将这些字符字段转换为 hive 中的时间戳

sorting - 如何在 hadoop 的洗牌/排序阶段进行数字排序?

java - 在Eclipse Juno中运行MapReduce程序时出错

java - java.lang.OutOfMemoryError:运行配置单元表扫描时,Java堆空间错误