hadoop - 主节点如何启动hadoop集群中的所有进程?

标签 hadoop virtualbox hadoop2 resourcemanager namenode

我已经使用普通 Hadoop 设置了一个包含 5 个虚拟机的 Hadoop 集群。集群详情如下:

192.168.1.100 - 配置为运行 NameNode 和 SNN 守护进程
192.168.1.101 - 配置为运行 ResourceManager 守护程序。
192.168.1.102 - 配置为运行 DataNode 和 NodeManager 守护进程。
192.168.1.103 - 配置为运行 DataNode 和 NodeManager 守护进程。
192.168.1.104 - 配置为运行 DataNode 和 NodeManager 守护进程。

我在每个虚拟服务器中都保留了主从文件。

高手:

192.168.1.100
192.168.1.101

从属文件:

192.168.1.102
192.168.1.103
192.168.1.104

现在当我从 NameNode 机器运行 start-all.sh 命令时,它是如何启动所有守护进程的?我无法理解吗?没有安装适配器(或者我不知道),所有机器中都有简单的 hadoop jar 那么 NameNode 机器如何启动所有机器(虚拟服务器)中的所有守护进程.

谁能帮我理解一下?

最佳答案

名称节点通过 SSH 连接到从属节点并运行从属服务。 这就是为什么您需要在从服务器上的 ~/.ssh/authorized_keys 中使用公共(public) ssh key ,以便为运行 Hadoop namenode 的用户提供它们的私有(private) key 。

关于hadoop - 主节点如何启动hadoop集群中的所有进程?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42873453/

相关文章:

vagrant - 运行 vagrant : "The host path of the shared folder is missing" 时出错

hadoop - 当对多个输入文件完成 mapreduce 任务时,hadoop 如何确定映射器或输入拆分的数量?

apache-spark - SparkSession.catalog.clearCache()可以从hdfs中删除数据吗?

postgresql - 无法使用 postgresql 连接到服务器是在本地运行的服务器和 PGSQL.5432

hadoop - 为整个 Mapper/Reducer 定义一个可写的

windows - 在 Windows 上使用 VirtualBox 为 Kubernetes 创建 Docker 容器

hadoop - Pig 和 Hadoop 连接错误

hadoop - 在 MapReduce 中不运行分区器的多个 reducer

java - 将大型 gzip 数据文件上传到 HDFS

hadoop - 通用连接脚本