我在Pig缩小作业中间歇性地看到一些映射器和缩小器的异常。在大多数情况下，它会在其他某个节点上重试，并且任务成功。但是有时所有4个任务都失败，并且map reduce作业失败。
但是有趣的是文件夹jobcache确实具有权限700。我不明白为什么它不能在其中创建文件夹。
Error initializing attempt_201212101828_0396_m_000028_0:
java.io.IOException: Failed to set permissions of path: /apollo/env/TrafficAnalyticsHadoop/var/hadoop/mapred/local_data/taskTracker/trafanly/jobcache/job_201212101828_0396 to 0700
at org.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:682)
at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:671)
at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:509)
at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:344)
at org.apache.hadoop.mapred.JobLocalizer.createJobDirs(JobLocalizer.java:221)
at org.apache.hadoop.mapred.DefaultTaskController.initializeJob(DefaultTaskController.java:184)
at org.apache.hadoop.mapred.TaskTracker$4.run(TaskTracker.java:1226)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1093)
at org.apache.hadoop.mapred.TaskTracker.initializeJob(TaskTracker.java:1201)
at org.apache.hadoop.mapred.TaskTracker.localizeJob(TaskTracker.java:1116)
at org.apache.hadoop.mapred.TaskTracker$5.run(TaskTracker.java:2404)
at java.lang.Thread.run(Thread.java:662)
如果有帮助，我正在使用Hadoop 1.0.1。我在网上搜索时发现的另一件事是:https://issues.apache.org/jira/browse/MAPREDUCE-890。 在我的情况下，启动映射集群的用户确实正在运行该作业，即该作业失败。对于任何其他用户，该作业运行正常。
任何帮助，将不胜感激。
最佳答案
将您在.xml配置文件中用作属性值的目录的权限更改为755
关于hadoop - 由启动集群的同一用户运行时，Pig MR作业失败，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/13833479/