我有一个算法的hadoop实现。
我正在Eclipse中执行此操作:
当我在Eclipse中运行时,我的算法工作正常,并创建了必要的文件和输出。
Algorithm
|
|___creates a file0.txt file.
|
|___creates a file1.txt file.
|
|___creates a file3.txt file.
|
|___creates a file4.txt file.
|
|___creates a file5.txt file.
|
|___creates a file6.txt file.
|
|___creates a file7.txt file.
完成工作。
当我在Hadoop群集中尝试除file0.txt以外的程序时,从reducer阶段开始,没有在
hdfs
中创建所有其他文件。是否有人经历过这个问题。
请帮助。
Source
Output from eclipse
Output from cluster
最佳答案
与MR作业无关,输出文件由驱动程序代码指定。请检查您的驱动程序代码或在此处共享
关于java - 在第二次MR期间未创建文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20674000/