将较小的文件从多个HDFS文件夹复制到一个目标文件夹的有效方法是什么？为了使Map-Reduce有效，还需要合并较小的文件。
最佳答案
DistCp是一种map-reduce作业，它以并行方式将文件从一个或多个源文件夹复制到一个目标文件夹。
但是，它不合并文件。
但是也许您可以使用filecrush来做到这一点! (让我知道这是怎么回事!)
关于hadoop - Hadoop HDFS将文件从多个文件夹复制到一个目标文件夹，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/18080876/