虽然我知道 Hadoop 通常不用于图像处理,但作为概念证明,我一直在尝试使用 Hadoop 实现图像处理。 在这样做的过程中,我成功地实现了 Sobel 边缘检测算法,以使用 MapReduce 模型并在 Hadoop 下运行。
我的程序应该从 HDFS 获取一个文件夹作为输入并处理文件夹中的文件并将输出写入 HDFS。但是,它正在考虑输入文件夹中的单个文件并将单个文件写入输出。
这里是文件的源代码 https://gist.github.com/ardahal/f0046e50e04fadc28a96
最佳答案
这将是半自动的,但聊胜于无。
比方说,您的输入目录是:/user/hadoop/inpur_dir/input_i.txt
Path pth = "/user/hadoop/inpur_dir/input_"
for(int i = 0; i < number_of_image; i++){
FileInputFormat.addInputPath(job, pth.suffix(i+".txt") );
}
和
这里是 multiple output .这比我之前提出的要好
关于java - Hadoop 只从 reducer 产生一个输出,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/16212088/