由于网络条件的原因,我的 hadoop 集群不能正常工作。如果我改变整个网络,比如另一个路由器,从而改变 IP 地址怎么办?集群还能通过更新一些配置来工作吗?或者我必须把它拆掉重建一切? 提前致谢
最佳答案
把ip地址改成配置就可以了,为什么不使用DNS呢?
好的,这不是一个好的答案,让我道歉并给出一个更好的答案。 如果您需要更改正在运行的集群上的配置,您可以停用和调试数据节点。
关闭数据节点不是一个好主意。
数据节点退役
第一步是告诉 yarn 你要删除一些节点,然后你必须对节点管理器说同样的话。
我不知道您的系统是否配置为退役,如果是这样,您将 key yarn.resourcemanager.nodes.exclude-path
放入 yarn-site.xml
和 dfs.hosts.exclude
到 hdfs-site.xml
hdfs-site.xml
<property>
<name>dfs.hosts.exclude</name>
<value>$YOUR_PATH/dfs.exclude</value>
<final>true</final>
</property>
yarn-site.xml
<property>
<name>dfs.hosts.exclude</name>
<value>$YOUR_PATH/dfs.exclude</value>
<final>true</final>
</property>
打开文件 $YOUR_PATH/dfs.exclude
并添加您需要停止的节点的主机名/IP 地址。
执行
yarn rmadmin -refreshNodes
hdfs dfsadmin -refreshNodes
检查数据节点是否正在停用检查 Web 界面。
数据节点调试
以与退役相同的方式工作
yarn-site.xml
<property>
<name>yarn.resourcemanager.nodes.include-path</name>
<value>$YOUR_PATH/dfs.include</value>
<final>true</final>
</property>
hdfs-site.xml
<property>
<name>dfs.hosts</name>
<value>$YOUR_PATH/dfs.include</value>
<final>true</final>
</property>
打开文件 $YOUR_PATH/dfs.include
并添加您需要添加的节点的主机名/IP 地址。
yarn rmadmin -refreshNodes
hdfs dfsadmin -refreshNodes
稍等一下
hdfs dfsadmin -report
现在您添加的主机已进入列表。
如果您的配置缺少上述键,您需要在添加它们后停止/重新启动节点管理器和 yarn 。
使用这些过程,您可以安全地停止数据节点。
关于hadoop - 如果 hadoop 中的节点更改其 IP 地址会发生什么?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40068473/