我已经安装了HDP 2.x和色相。 (2位房东)
我需要解决此问题，因为我是oozie工作流程的新手。
我在这里遵循示例:http://www.oraclealchemist.com/news/hadoop-streaming-hue-oozie-workflows-hive/
如果我仅在各自路径上的所有主机中都有mapper和reducer，它会完美地工作。我看到oozie的ambari-qa冒烟测试很好，但是当我从Hue UI提交Oozie的流作业时，其中的mapper和reducers在其中执行字数(词频)的shell脚本，我想使用“添加文件”(- Oozie工作流程编辑器中hadoop命令行中的"file"部分，然后将映射器和化简器上传到HDFS。进行此更改并提交此作业后，出现错误。对于 map task 的所有尝试，都会收到以下错误:
2013-12-16 19:21:24,278 ERROR [main] org.apache.hadoop.streaming.PipeMapRed: configuration exception java.io.IOException: Cannot run program "/hadoop/yarn/local/usercache/root/appcache/application_1387201627160_0006/container_1387201627160_0006_01_000002/./maptf.sh": java.io.IOException: error=2, No such file or directory
这意味着它无法在oozie / mapred / yarn将动态创建文件的路径中找到mapper和reducer。我有任何oozie配置和工作流程问题吗？ (通过电子邮件发送的日志:sandeepboda91083@gmail.com)
在HDFS中，我以root用户身份正确设置了所有路径和文件。
注意:我可以在没有oozie的情况下运行流作业，如下所示:
cd /root/mrtest/
ls
-rwxrwxrwx 1 root root 235 Dec 11 11:37 maptf.sh
-rwxrwxrwx 1 root root 273 Dec 11 11:37 redtf.sh
hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming-2.2.0.2.0.6.0-76.jar -D stream.num.map.output.key.fields=1 -input crane_in1 -output crane_out2 -file ./maptf.sh -mapper maptf.sh -file ./redtf.sh -reducer redtf.sh
看来我无法在此处附加日志。请寄给我有关文件和日志的信息。
最佳答案
这些问题可能与Hue list上的这些用户相同。
如果使用“文件浏览器”编辑了文件，则由于某些非Unix新行，它们可能已损坏。您应该直接上传它们，而不要对其进行修改，或者使用Hue的最新版本(在撰写本文时为3.5)。
关于hadoop - 使用 “Add File”部分时，Hortonworks Hue Oozie流作业失败(shell脚本)，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/20651625/