hadoop - 为什么我们需要 Hadoop 无密码 ssh?

标签 hadoop mapreduce

  • 据我所知,需要无密码 ssh,以便主节点可以在每个从节点上启动守护进程。除此之外,无密码ssh对Hadoop的操作有什么用吗?

  • 用户代码 jar 和数据 block 如何在从属节点之间传输?我想知道使用的机制和协议(protocol)。

  • 无密码 SSH 应该只配置为主从对,甚至在从属之间?

最佳答案

你是对的。如果 ssh 不是无密码的,您必须在每台机器上手动启动所有进程。 对于你的第二个问题,HDFS 中的所有通信都通过 TCP/IP 进行,并且使用 HTTP 进行数据移动。机制是这样的:

A client establishes a connection to a configurable TCP port on the NameNode machine. It talks the ClientProtocol with the NameNode. The DataNodes talk to the NameNode using the DataNode Protocol. A Remote Procedure Call (RPC) abstraction wraps both the Client Protocol and the DataNode Protocol.

对于第三个问题,从属节点之间没有必要进行无密码ssh。

关于hadoop - 为什么我们需要 Hadoop 无密码 ssh?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/13909603/

相关文章:

Hadoop 处理 reducer 中的数据倾斜

android - 如何实现一个Android应用程序来连接服务器

hadoop - 伪分布式数映射和归约任务

c - C 中奇怪的 fork() 问题

hadoop - Talend for 大数据 hadoop 2.2.0

hadoop - 如何删除Docker容器中的HDFS数据

hadoop - 配置单元是否创建单独的数据副本

java - 平均 map 减少

hadoop - 映射器是否将它的中间输出存储在它运行的数据节点的 RAM 上?

r - 当我尝试在 dplyr group_map 函数中使用 defuse-inject 模式时失败