hadoop - 无法初始化集群。请检查你配置的mapreduce.framework.name和对应的服务器地址-提交job2remoteClustr

标签 hadoop mapreduce cloudera

我最近将我的集群从 Apache Hadoop1.0 升级到 CDH4.4.0。我在另一台机器上有一个 weblogic 服务器,我从那里通过 mapreduce 客户端将作业提交到这个远程集群。我仍然想使用 MR1 而不是 Yarn。我已经针对 CDH 安装中的客户端 jar 编译了我的客户端代码 (/usr/lib/hadoop/client/*)

创建 JobClient 实例时出现以下错误。 有很多帖子与同一问题相关,但所有解决方案都涉及将作业提交到本地集群而不是远程的场景,特别是在我的情况下是从 wls 容器提交

JobClient jc = new JobClient(conf);

无法初始化集群。请检查您的配置中的 mapreduce.framework.name 和相应的服务器地址。

但是从集群上的命令提示符运行完全没问题。

感谢您的及时帮助!

最佳答案

我遇到了类似的错误,将以下 jar 添加到类路径中,它对我有用: hadoop-mapreduce-client-jobclient-2.2.0.2.0.6.0-76:hadoop-mapreduce-client-shuffle-2.3.0.jar:hadoop-mapreduce-client-common-2.3.0.jar

关于hadoop - 无法初始化集群。请检查你配置的mapreduce.framework.name和对应的服务器地址-提交job2remoteClustr,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/19043970/

相关文章:

hadoop - Spring Cloud Dataflow-http |卡夫卡和卡夫卡| hdfs-在HDFS中获取原始消息

hadoop - Cloudera CDH4 : Can't add a host to my cluster because canonical name is not consistent with hostname

apache-spark - 详细说明为什么 shuffle 写入数据比 apache spark 中的输入数据要多

postgresql - HDFS 到 PostgreSQL

hadoop - hadoop 上的 Kmeans

hadoop - CHD 5.4.0 Map和Reduce的问题

python - 如何使用Python中的map reduce函数确定值?

Hadoop:没有这样的方法异常

hadoop - 我们可以使用map reduce程序解决数字的阶乘吗?

java - 连接并持久化到 HBase