hadoop - 具有一个事件名称节点的HA群集性能低下

标签 hadoop

IAM与HA群集一起使用hadoop Apache 2.7.1

当我关闭 Activity 名称节点时,备用名称节点将变为 Activity 状态
这是正常情况

但是具有一个 Activity 名称节点的群集的性能下降的问题(操作变慢)

而且我不认为仅当一个名称节点处于 Activity 状态时,ha hadoop群集的性能不应受到影响

我意识到当前的 Activity 名称节点日志显示了尝试连接到先前的 Activity 关机名称节点的操作

Retrying connect to server: mn2/192.168.25.22:8485. Already tried 0 time(s); maxRetries=5

我试图减少核心站点中的以下属性
<property>
                <name>ipc.client.connect.max.retries.on.timeouts</name>
                <value>5</value>
        </property>
        <property>
                <name>ipc.client.connect.timeout</name>
                <value>1000</value>
        </property>

但是它们没有作用,我应该编辑什么属性才能使当前 Activity 名称节点放弃连接到关闭名称节点的操作

因为当我再次启动以前的名称节点但尚未启动任何服务时
当前 Activity 名称节点停止尝试连接到先前的 Activity 名称节点
并且由于有两个名称节点,群集的性能再次提高
即使我们只有一个 Activity 名称节点

最佳答案

您没有在文章中提到要使用哪个工具来实现高可用性。您似乎在两个名称节点之间使用编辑共享方法来实现高可用性,并且正在发生“裂脑综合症”问题。

您能否尝试使用其他一些工具(例如apache Zookeeper)(或您选择的任何其他工具)来实现高可用性?

请注意-如果您使用上述工具,则您的法定人数应为多数。这意味着 Activity 名称节点的数量应为奇数(3、5、7等)。

关于hadoop - 具有一个事件名称节点的HA群集性能低下,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44886444/

相关文章:

hadoop - slots、map tasks、data splits、Mapper的区别和关系

docker - 使用 Docker 容器设置数据科学前端的简单方法是什么?

hadoop - 获取 Hive 中 Record 的文件名

hadoop - Sqoop-如何将多个mysql表导入一个HBase/Hive表

hadoop - Apache Hadoop 与谷歌大数据

scala - 从Scala中的HDFS加载.csv文件

hadoop - 是否有将网络资源下载到 hdfs 的命令?

hadoop - Oozie示例 map 缩小作业失败,并出现java.lang.NoSuchFieldError:HADOOP_CLASSPATH

hadoop - Gobblin Kafka 到 HDFS pull 作业报错

hadoop - 在 hive 中将一系列数字分成相等的部分