据我所知,需要无密码 ssh,以便主节点可以在每个从节点上启动守护进程。除此之外,无密码ssh对Hadoop的操作有什么用吗?
用户代码 jar 和数据 block 如何在从属节点之间传输?我想知道使用的机制和协议(protocol)。
无密码 SSH 应该只配置为主从对,甚至在从属之间?
最佳答案
你是对的。如果 ssh 不是无密码的,您必须在每台机器上手动启动所有进程。 对于你的第二个问题,HDFS 中的所有通信都通过 TCP/IP 进行,并且使用 HTTP 进行数据移动。机制是这样的:
A client establishes a connection to a configurable TCP port on the NameNode machine. It talks the ClientProtocol with the NameNode. The DataNodes talk to the NameNode using the DataNode Protocol. A Remote Procedure Call (RPC) abstraction wraps both the Client Protocol and the DataNode Protocol.
对于第三个问题,从属节点之间没有必要进行无密码ssh。
关于hadoop - 为什么我们需要 Hadoop 无密码 ssh?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/13909603/