java - 在第二次MR期间未创建文件

标签 java hadoop mapreduce

我有一个算法的hadoop实现。

我正在Eclipse中执行此操作:
当我在Eclipse中运行时,我的算法工作正常,并创建了必要的文件和输出。

Algorithm
       |
       |___creates a file0.txt file.
       |
       |___creates a file1.txt file.
       |
       |___creates a file3.txt file.
       |
       |___creates a file4.txt file.
       |
       |___creates a file5.txt file.
       |
       |___creates a file6.txt file.
       |
       |___creates a file7.txt file.

完成工作。
当我在Hadoop群集中尝试除file0.txt以外的程序时,从reducer阶段开始,没有在hdfs中创建所有其他文件。

是否有人经历过这个问题。

请帮助。
Source

Output from eclipse

Output from cluster

最佳答案

与MR作业无关,输出文件由驱动程序代码指定。请检查您的驱动程序代码或在此处共享

关于java - 在第二次MR期间未创建文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20674000/

相关文章:

java - 如何将 "driver"添加到 javax.comm? Java串口编程

java - 我可以从任意阶段恢复 Maven 生命周期吗?

hadoop - 海星或内脏

windows - 在 Windows 上构建 hadoop 2.6 时出错 - inutils.vcxproj 损坏或无效

hadoop - mapreduce作业未执行

使用 log4j 的 Hadoop Yarn 任务级日志记录

mongodb - 使用映射减少用户到用户的相似度

java - Android Eddystone广播数据太大

java - JTree 节点渲染器和节点编辑器中的多个组件

csv - oozie-在配置单元操作中使用存档文件