java - Hadoop 资源管理器未启动

标签 java hadoop client ipc resourcemanager

我是 Hadoop 新手,所以我开始在 localhost 上设置部分分布式 Hadoop 集群。我创建了一个 wordcount 程序 jar 来运行,但是当我运行这个 jar 时,以下错误显示了九次:

NFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9040. Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

此外,当我键入 jps 命令时,我启动的服务是:

9154 DataNode

9777 NodeManager

8967 NameNode

9441 SecondaryNameNode

10060 Jps

核心站点.xml

<configuration>

  <property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:9000</value>
  </property>

  <property>
  <name>hadoop.tmp.dir</name>
  <value>/usr/local/hadoop/tmp</value>
  <description>A base for other temporary directories.</description>
  </property>

  <property>
     <name>fs.file.impl</name>
     <value>org.apache.hadoop.fs.LocalFileSystem</value>
     <description>The FileSystem for file: uris.</description>
  </property>
  -
  <property>
     <name>fs.hdfs.impl</name>
     <value>org.apache.hadoop.hdfs.DistributedFileSystem</value>
     <description>The FileSystem for hdfs: uris.</description>
  </property>

</configuration>

yarn-site.xml

<configuration>

  <!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>localhost:9025</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>localhost:9030</value>
  </property>
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>localhost:9040</value>
  </property>
  <property>
    <name>yarn.nodemanager.address</name>
    <value>localhost:9050</value>
  </property>
  <property>
    <name>yarn.nodemanager.localizer.address</name>
    <value>localhost:9060</value>
  </property>

</configuration> 

ma​​pred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>

  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:8021</value>
  </property>

</configuration>

感谢帮助。我该如何解决这个问题??

最佳答案

没有 ResourceManager 守护进程的最可能原因是 HTTP 端口绑定(bind)错误。浏览 yarn-resourcemanager-* 的日志文件。您可以轻松找到错误原因。

关于java - Hadoop 资源管理器未启动,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28513562/

相关文章:

python - 使用 Python 的 Hive UDF

c# - 无法使用 Skype for Business 2016 安装 Lync 2013 SDK

java - 如何在Java上正确编写RabbitMQ Publisher?

java - REST 客户端抛出 sun.security.provider.certpath.SunCertPathBuilderException

java - 使用 Hadoop 处理大量小文件

java - 捕获 SocketTimeOut 错误并响应

Java,从文件创建 double 字符串数组时遇到问题

java - 如何在java中通过BeanInfo<I>访问私有(private)字段

hadoop - 在 YARN 上运行的 Spark - 真实示例的工作流程是什么样的?

java - 我是否必须将 Controller 拆分为多个端点,这些端点代表更复杂对象的组件的 CRUD 操作?