hadoop - 如何使用 MultipleTextOutputFormat 类将默认输出文件重命名为一些有意义的名称?

标签 hadoop mapreduce

在 Hadoop 的 reduce 阶段之后,我希望输出文件名根据输入键值有意义。但是,我没有成功遵循“Hadoop:权威指南”上的示例,该示例使用 MultipleTextOutputFormat 来执行此操作。原因是它基于旧 API 而不适用于新 API?

任何人都可以提示解决方案或向我指出相关文档吗?

最佳答案

你可能是对的。大多数在旧 API 中有效的功能在新 API 中并不总是有效。

现在有一种“新方法”可以做到这一点,称为 MultipleOutputs .

关于hadoop - 如何使用 MultipleTextOutputFormat 类将默认输出文件重命名为一些有意义的名称?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/7464789/

相关文章:

ubuntu - 复制本地数据到hadoop hdfs报错

hadoop - 在内部,在安装的 hadoop 和 hive 集群中,发生了什么?

java - 从Hive导出数据时如何转换某些列?

hadoop - 在 Pig 中将多个 map 组合在一起

mapreduce - couchdb View 使用另一个 View ?

hadoop - 记录读取器拆分将固定长度转换为定界ASCII文件

java - 输入 block 的哪个副本在映射器中处理?

hadoop - 读取期间DSE Hadoop间歇性超时错误

hadoop - 如何在使用 sqoop 摄取数据时屏蔽数据

hadoop - 将具有不同ID的MR作业提交到Hadoop集群