很多人觉得 Ceph 集群是"企业级"专属。其实在 PVE 上,3 台低配主机 + 一台网络交换机的最小化集群已经够稳妥。本篇记录一次最小可用集群的搭建过程。

硬件清单

本例使用同方三台 N100 小主机,每台 1 块 256GB NVMe 系统盘 + 1 块 1TB SATA SSD 作为 OSD。建议全部 SSD 是因为网络抖动对 HDD 的恢复时间放大非常明显。

集群准备

三台机器先按 PVE 8.0 安装好,再用 pvecm create 创建集群,其他两台用 pvecm add 加入。/etc/hosts 必须配好 hostname 与 IP 解析,Ceph 服务的发现非常依赖主机名。

安装 Ceph

在 PVE Web 界面的 Ceph 安装向导里选 Reef (18.2) 即可。第一台机器选"安装",其他两台选"加入"。

存储网络最好单独走一块网卡或 VLAN。OSD 之间复制流量会与 Web/SSH 抢带宽。

OSD 调优

新建 OSD 时注意把 wal/db 放在系统 NVMe 的同一分区(如果有),可以显著提升小 IO 性能。新建 CRUSH rule 时务必把"主副本"和"次副本"分布在不同机柜/不同交换机。

故障演练

拔掉一台主机的电源,ceph -s 会迅速出现 HEALTH_WARN,但 pg 状态没出现 degraded,说明三副本保护生效。重新加回后约 5 分钟自动恢复。