我已经使用 Hortonworks Data Platform 2.5 设置了一个 Hadoop 集群。我正在使用 1 个主节点和 5 个从(工作)节点。
每隔几天，我的一个(或多个)工作节点就会承受高负载，并且似乎会自动重启整个 CentOS 操作系统。重新启动后，Hadoop 组件不再运行，必须通过 Amabri 管理 UI 手动重新启动。
这里是“崩溃”节点的屏幕截图(大约 4 小时前在高负载值后重新启动):
这是其他“健康”工作节点之一的屏幕截图(所有其他工作节点都具有相似的值):
节点在 5 个工作节点之间交替崩溃，主节点似乎运行没有问题。
什么会导致这个问题？这些高负载值从何而来？
最佳答案
这似乎是内核问题，因为日志文件(例如 /var/spool/abrt/vmcore-127.0.0.1-2017-06-26-12:27:34/backtrace ) 类似
Version: 3.10.0-327.el7.x86_64
BUG: unable to handle kernel NULL pointer dereference at 00000000000001a0
运行 sudo yum update 后我得到了内核版本
[root@myhost ~]# uname -r
3.10.0-514.26.2.el7.x86_64
自从操作系统更新之后，这个问题就没有再出现了。我会观察问题并在必要时提供反馈。
关于hadoop - Hortonworks 数据平台 : High load causes node restart，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/44762555/