hadoop - java.io.IOException : error=2, Hadoop 流中没有这样的文件或目录错误

标签 hadoop mapreduce

请帮助解决 hadoop 流式处理的“-file”选项问题(在下面的链接中提到)。只是为了更新,我知道 jar 已经存在,我在尝试 hadoop-streaming 失败的不同类文件后尝试此操作,以便确定类文件本身或我的方式是否有问题使用它。如果您需要 stderr 文件,请告诉我。

Problem with Hadoop Streaming -file option for Java class files .

最佳答案

您不能真正使用 -file 来发送 jar,因为 hadoop 不支持多个 jar(它们不在 CLASSPATH 中),检查 streaming docs :

At least as late as version 0.14, Hadoop does not support multiple jar files. So, when specifying your own custom classes you will have to pack them along with the streaming jar and use the custom jar instead of the default hadoop streaming jar.

关于hadoop - java.io.IOException : error=2, Hadoop 流中没有这样的文件或目录错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/6791467/

相关文章:

hadoop - sqoop从oracle动态创建hive分区表并导入数据

java - 使用我自己的类作为输出值MapReduce Hadoop时,Reducer不会调用reduce方法

java - 无法通过通用选项解析器设置mapreduce.job.reduces

amazon-web-services - Hive 查询抛出异常 - 编译语句 : FAILED: ArrayIndexOutOfBoundsException null 时出错

java - 使用 MapReduce 作业的 HBase 批量删除

java - 与数据库交互时出现 ClassNotFoundException 错误

java - 我们应该使用什么技术来实时处理terra字节数据?

hadoop - 声明 hivevar 时出现 Hive 错误

hadoop - 等待AM容器被分配、启动并注册到RM

hadoop - 选择 : Hadoop custom jars, Hadoop Streaming、Pig 或 Mahout 中的哪一个?