linux - yarn 节点管理器未启动。没有错误

标签 linux hadoop hadoop-yarn daemon

我在 Ubuntu 16.04 上安装了 Hadoop 2.7.4。我正在尝试以伪模式运行它。 我为所有 hadoop 文件、NameNode 和 DataNode 文件安装了一个“/hadoop”分区。

我的 core-site.xml 是:

<configuration>

<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>

</configuration>

我的 hdfs-site.xml 是:

<configuration>

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<property>
<name>dfs.name.dir</name>
<value>/hadoop/nodes/namenode</value>
</property>

<property>
<name>dfs.data.dir</name>
<value>/hadoop/nodes/datanode</value>
</property>

</configuration>

我的 mapred-site.xml 是:

<configuration>

<property>
<name>Map-Reduce.framework.name</name>
<value>yarn</value>
</property>

</configuration>

我的 yarn-site.xml 是:

<configuration>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>Map-Reduce_shuffle</value>
</property>

</configuration>

运行后

$ start-dfs.sh 
$ start-yarn.sh
$ jps

我让以下守护进程运行。

2800 ResourceManager
2290 NameNode
4242 Jps
2440 DataNode
2634 SecondaryNameNode

start-yarn.sh 给我:

$ start-yarn.sh
starting yarn daemons
starting resourcemanager, logging to /hadoop/hadoop-2.7.4/logs/yarn-abdy-resourcemanager-abdy-hadoop.out
localhost: starting nodemanager, logging to /hadoop/hadoop-2.7.4/logs/yarn-abdy-nodemanager-abdy-hadoop.out

nodemanager 守护进程似乎根本没有启动。 我已经尝试了 2 天来解决这个问题,但我似乎找不到解决方法。有人请指导我。

最佳答案

如果您是第一次启动 hadoop 守护进程。

首先你必须格式化你的namenode:

hadoop namenode -format

Before formatting namenode make sure you delete existing
/hadoop/nodes/namenode and /hadoop/nodes/datanode folders

然后你执行:

hadoop namenode -format

完成namenode的格式化。
你执行以下命令。

start-dfs.sh
start-yarn.sh

关于linux - yarn 节点管理器未启动。没有错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46703007/

相关文章:

hadoop - 通过 REST API 向外部提交应用程序

linux - 使用命令行按键=值字段对日志文件进行排序

windows - 我要去哪里学习编写必须非常非常安全但确实暴露外部服务(在标准 Windows 或 Linux 操作系统上运行)的代码

c# - .NET 中的 Hadoop 流式处理

hadoop - WordCount版本的执行时间不同

hadoop - Hadoop 2 中 3 个内存参数之间的区别?

parsing - 如何解析Yarn日志获取性能指标?

linux - 如何将/dev/中的设备与实际的驱动关联起来

linux - "Top"重定向到文件时输出被截断?

sql - 你能在 RDBMS 中 session 化网络日志吗