hadoop - 使用不同的 hadoop-mapreduce-client-core.jar 运行 hadoop 集群

标签 hadoop jar java-opts

我在安装了 CDH4.2.0 的 hadoop 集群上工作并遇到了 this错误。它已在更高版本的 hadoop 中得到修复,但我无权更新集群。有没有办法告诉 hadoop 在通过命令行参数运行我的工作时使用这个 jar

hadoop jar MyJob.jar -D hadoop.mapreduce.client=hadoop-mapreduce-client-core-2.0.0-cdh4.2.0.jar

新的 mapreduce-client-core.jar 文件是票证中的补丁 jar。或者必须用这个新的 jar 完全重新编译 hadoop?我是 hadoop 的新手,所以我不知道所有可能的命令行选项。

最佳答案

我不确定当您执行 hadoop 命令时,您实际上是在客户端 jar 中执行代码。

可以不用MR1吗?该问题表明此问题仅在您使用 MR2 时出现,因此除非您真的需要 Yarn,否则您最好使用 MR1 库来运行您的 map/reduce。

关于hadoop - 使用不同的 hadoop-mapreduce-client-core.jar 运行 hadoop 集群,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/16204222/

相关文章:

client - '-client'对于JAVA_OPTS有什么意义

windows - Windows上的Hadoop构建错误

java - 通过使用配置单元查询是否可以将表数据转换为复杂类型的list <structure>?

java - 具有不同树的同一个 jar 的依赖关系

java - 从 Gradle 依赖项中排除 .class 文件

java - 在 Windows 10/Java 8 中将 JAVA_OPTS 参数设置为 "Override high DPI scaling behavior"

gradle - 如何使用 JAVA_OPTS 在 gitlab-ci.yaml 中设置 Gradle 代理变量

java - 从节点可以运行Hadoop Map/Reduce Job吗?

hadoop - 在包含连接的表上执行增量 Sqoop?

java - 如何使用深度优先遍历从 jar 中获取类