我找不到出路,如何将 Hadoop Mapreduce 结果导出回,例如CSV 或其他文件格式。
有人知道怎么做吗?很想知道。
请注意,我指的是 Hadoop 的结果,例如输出1/part.00000
最佳答案
默认情况下,它们实际上是 TSV(制表符分隔),您可以通过设置来更改
mapred.textoutputformat.separator=","
然后您可以通过 hdfs -get 命令从 HDFS 下载它,或使用 -merge 命令在单个本地文件中获取所有 part-ooo* 文件的合并输出
hadoop fs -get hdfs://nn.example.com/user/hadoop/file localfile
或
Usage: hadoop fs -getmerge <src> <localdst> [addnl]
关于hadoop - 如何在 MapReduce 结果后将输出文件导出回 CSV,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/24379145/