我正在澄清有关使用Hadoop处理大约200万个大文件的问题。我有由200万行组成的文件数据，我想将每行分割为一个文件，将其复制到Hadoop File System中，并使用Mahout执行术语频率的计算。 Mahout以分布方式使用映射减少计算。但这要说，如果我有一个包含200万行的文件，我想将每一行作为文档来计算项频。我最终将有一个目录，其中将有200万个文档，每个文档由一行组成。这会为n个文件创建n个图吗，这里将为该过程创建200万张图。这需要大量时间进行计算。有没有其他替代方法可以表示文档以便进行更快的计算。
最佳答案
hadoop有200万个文件。不仅如此，运行200万个任务将需要大约200万秒的开销，这意味着几天的小型集群工作。
我认为问题是算法性质的-如何将您的计算映射到映射以减少映射器数量的方式减少范式。请就您需要的任务写几行，我可能会建议算法。
关于hadoop - Hadoop文件大小说明，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/10314739/