Hadoop MultipleOutputs 输出文件 "part-day-26"

标签 hadoop mapreduce multipleoutputs

我在 mapreduce 作业中遇到问题,我希望输出文件的格式为 file-day-26而不是 part-r-00000 .

我已尝试使用 addNamedOutput 方法来完成此操作( MultipleOutputs ),但只能更改部分 part .

在旧的 API 中,我看到可以使用 generateFileNameForKeyValue 方法来做到这一点( MultipleTextOutputFormat ),但是我不能使用旧的API,所以我想知道Hadoop的新API中是否有这样的东西。

有人可以帮助我吗?

谢谢。

最佳答案

尝试使用 MultipleOutputFormat。

引用链接在这里: https://www.inkling.com/read/hadoop-definitive-guide-tom-white-3rd/chapter-7/output-formats

关于Hadoop MultipleOutputs 输出文件 "part-day-26",我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/22441052/

相关文章:

hadoop - 无法在 Spark-1.2.0 上部署工作人员

scala - 如何在 Scala 中进行数据清理

hadoop - 在Hadoop群集上解决字数统计是否有意义?

scala - 在 Apache Spark 中按列分区到 S3

hadoop - 为什么 DISTINCT 在 Pig 中比 GROUP BY/FOREACH 快

java - 将来自 Hadoop MapReduce 作业的数据写入 MySQL

ios - 减少元组数组

hadoop - 在hadoop中以多种输出格式使用part-m-00000

time-series - 使用 Keras LSTM 进行多步提前时间序列预测的多个输出