hadoop - 启动hadoop的步骤是什么

Question

我是hadoop新手。那么您能描述一下我在这里到底在做什么吗？ P.S 我从我的一个 friend 那里收到了这个步骤。

(1) hduser@soham-Inspiron-3521:/usr/local/hadoop/etc/hadoop$/usr/local/hadoop/bin/hadoop namenode -format
问题1)为什么我们每次都需要格式化namenode而不是datanode或其他
Que 2) 为什么我们每次使用两条不同的路径

(2) `hduser@soham-Inspiron-3521:/usr/local/hadoop/etc/hadoop$/usr/local/hadoop/sbin/start-all.sh
问题 1) 是否所有进程都需要从“sbin”文件夹启动

(3) jps 显示:

hduser@soham-Inspiron-3521:/usr/local/hadoop/etc/hadoop$ jps
7344 ResourceManager
15019 Jps
7187 SecondaryNameNode
6851 NameNode
7659 NodeManager

问题 1)taskTracker 和 jobTracker 怎么样？

即使 localhost 也不显示任何 DataNode (http://localhost:50070/dfshealth.html#tab-startup-progress)

P.S 我知道这些都是幼稚的问题，但我找不到任何可以解决这个问题的解决方案。 快速回复将不胜感激。提前致谢。

Answer 1

从您提供的信息中我可以得出以下结论:

(1) 您不必在每次启动 hadoop 时都格式化 namenode。这是一次性事件。完成后，下次启动hadoop时，只需启动HDFS(start-dfs.sh)和YARN(start-yarn.sh)服务。 [附:不要使用 start-all.sh，因为它已被弃用]

关于你的问题的第二部分，“为什么我们每次使用两条不同的路径”，你指的是哪两条路径？

(2) 是的，所有进程都需要从 hadoop 安装的“sbin”文件夹启动(例如 /usr/local/hadoop/sbin/)。

(3) 从 jps 输出中，很明显您使用的是 hadoop 2.0，其中 JobTracker 和 TaskTracker 分别具有与 ResourceManager 和 NodeManager 相对应的等效项(但不完全一样)。

您的 DataNode 未运行。在启动 hadoop 服务时检查日志消息，以了解有关问题所在的更多信息。