我在尝试使用多个输入文件运行 MapReduce 作业时遇到以下错误。尽管我可以只使用一个输入文件来运行 MapReduce 作业。 我浏览了一些帖子，几乎每个人都说存在防火墙问题或未在/etc/hosts 文件中正确设置主机名。 即使是这种情况，无论输入是单个文件还是目录(多个文件)，我的 MapReduce 作业都会失败
下面是控制台的输出。
INFO input.FileInputFormat: Total input paths to process : 2
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
WARN snappy.LoadSnappy: Snappy native library not loaded
INFO mapred.JobClient: Running job: job_201505201700_0005
INFO mapred.JobClient: map 0% reduce 0%
INFO mapred.JobClient: map 50% reduce 0%
INFO mapred.JobClient: map 100% reduce 0%
INFO mapred.JobClient: map 100% reduce 16%
INFO mapred.JobClient: map 100% reduce 0%
INFO mapred.JobClient: Task Id : attempt_201505201700_0005_r_000000_0, Status : FAILED
Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.
WARN mapred.JobClient: Error reading task outputAMR-DEV02.local
WARN mapred.JobClient: Error reading task outputAMR-DEV02.local
INFO mapred.JobClient: map 100% reduce 16%
INFO mapred.JobClient: map 100% reduce 0%
INFO mapred.JobClient: Task Id : attempt_201505201700_0005_r_000000_1, Status : FAILED
Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.
WARN mapred.JobClient: Error reading task outputEmbeddedQASrv.local
WARN mapred.JobClient: Error reading task outputEmbeddedQASrv.local
INFO mapred.JobClient: map 100% reduce 16%
注意。 EmbeddedQASrv.local(ip address. 192.168.115.80) 和AMR-DEV02.local(ip address. 192.168.115.79) 是我的从节点主机名。
我的 Hadoop 集群由 1 个主节点和 2 个从节点组成。
这是我从控制台运行的命令。(emp_dept_data 是一个包含 empData 和 deptData 文件的目录)
hadoop jar testdata/joindevice.jar JoinDevice emp_dept_data output15
但是，如果我运行此命令，MapReduce 作业会成功(单个文件作为输入)
hadoop jar testdata/joindevice.jar JoinDevice emp_dept_data/empData output16
这是我的/etc/hosts 文件条目设置主节点。然而，相同的条目也被复制到我的从属节点。
127.0.0.1 amr-dev01.local amr-dev01 localhost
::1 localhost6.localdomain6 localhost6
#Hadoop Configurations
192.168.115.78 master
192.168.115.79 slave01
192.168.115.80 slave02
我不知道哪里出了问题，也不知道在哪里检查确切的根本原因。
最佳答案
实际问题出在/etc/hosts 文件上。我评论了我的本地主机配置。 amr-dev01.local amr-dev01 本地主机 而不是指定不同的名称，如 master、slave01、slave02...我使用了相同的主机名
192.168.115.78 amr-dev01 192.168.115.79 amr-dev02
关于hadoop MapReduce 随机播放错误 : Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/30352446/