centos - 强制 CEPH 同步和建议 CEPH 更新

Question

我们使用 CEPH 集群来存储我们的虚拟机的图像。该集群包含 3 个监视器、4 个存储节点和 1 个管理员。

CEPH OSD 树

ID WEIGHT   TYPE NAME       UP/DOWN REWEIGHT PRIMARY-AFFINITY
-1 21.82190 root default
-2  5.45547     host ceph01
 0  1.09109         osd.0        up  1.00000          1.00000
 1  1.09109         osd.1        up  1.00000          1.00000
 2  1.09109         osd.2        up  1.00000          1.00000
 3  1.09109         osd.3        up  1.00000          1.00000
 4  1.09109         osd.4        up  1.00000          1.00000
-3  5.45547     host ceph02
 5  1.09109         osd.5        up  1.00000          1.00000
 6  1.09109         osd.6        up  1.00000          1.00000
 7  1.09109         osd.7        up  1.00000          1.00000
 8  1.09109         osd.8        up  1.00000          1.00000
 9  1.09109         osd.9        up  1.00000          1.00000
-4  5.45547     host ceph03
10  1.09109         osd.10       up  1.00000          1.00000
11  1.09109         osd.11       up  1.00000          1.00000
12  1.09109         osd.12       up  1.00000          1.00000
13  1.09109         osd.13       up  1.00000          1.00000
14  1.09109         osd.14       up  1.00000          1.00000
-5  5.45547     host ceph04
16  1.09109         osd.16     down        0          1.00000
17  1.09109         osd.17     down        0          1.00000
18  1.09109         osd.18     down        0          1.00000
19  1.09109         osd.19     down        0          1.00000
15  1.09109         osd.15     down        0          1.00000

首先，自上次 CentO 更新以来，我们无法同步我们的第四台服务器。在其他服务器上，更新后没有问题。
我们尝试同步:

nodown选项

运行虚拟机

已停止的虚拟机

更换硬盘

更换硬盘槽

有没有人有重新同步的想法或线索？

实际上，我们正在考虑为服务器 ceph04 重新安装 CentOS。

其次，我们要更新集群。是否可以在不中断集群使用的情况下执行此操作(打开虚拟机)？

更多信息

操作系统:CentOS Linux release 7.7.1908 (Core)

CEPH 版本:10.2.11

某些机器具有大磁盘访问权限。

Answer 1

Secondly, we want to update the cluster. Is it possible to do this without disrupting the use of the cluster (with the VMs on)?

是的，这是可能的。但我们最终决定关闭所有虚拟机以加快同步速度。更新相对较快

Does anyone have an idea or a lead for resynchronizing it?

这是iptable的问题。更改 iptable 规则后，再次开始同步。