分布式复制卷需brick跨节点分布、客户端挂载加_netdev/backupvolfile-server/timeout参数、叠加keepalived实现vip故障转移,否则仅数据冗余而服务不连续。

分布式复制卷是 GlusterFS 生产环境最常用的高可用模式,它既扩展容量又保留冗余——但直接用 replica 2 创建双机复制卷,不等于自动实现高可用容灾。关键在 brick 分布、挂载方式、故障响应机制三处,漏掉任一环,节点宕机就丢数据或中断服务。
必须确保 brick 跨节点均匀分布
创建 volume 时,brick 路径必须明确指定在不同物理节点上,不能只写本地路径或混用主机名/IP。Gluster 不会自动帮你分发 brick,全靠命令行显式声明。
-
gluster volume create gv_distrep replica 2 node1:/bricks/brick1 node2:/bricks/brick1✅ 正确:两个 brick 明确落在不同节点 -
gluster volume create gv_distrep replica 2 /bricks/brick1 /bricks/brick2❌ 错误:全在本机,无冗余 -
gluster volume create gv_distrep replica 2 node1:/bricks/brick1 node1:/bricks/brick2❌ 错误:仍在单节点,故障即全挂
执行后务必检查:gluster volume info gv_distrep 中每个 Brick 行是否带不同 hostname;再用 gluster volume status gv_distrep 确认所有 brick 处于 Online 状态。
客户端挂载必须加 _netdev 和超时参数
默认 mount 会阻塞系统启动流程,且网络未就绪时失败;更严重的是,brick 故障后若没设重试策略,ls 或 cp 可能卡住几十秒甚至挂起进程。
- fstab 必须包含
_netdev:防止开机时网络未通导致挂载失败 - 建议加
backupvolfile-server:指定备用 server(如另一节点),主挂时自动切过去 - 推荐完整选项:
defaults,_netdev,backupvolfile-server=node2,timeout=5
示例 fstab 条目:node1:/gv_distrep /mnt/gv_distrep glusterfs defaults,_netdev,backupvolfile-server=node2,timeout=5 0 0
双机复制卷 ≠ 自动故障转移 VIP
GlusterFS 本身不提供浮动 IP 或服务接管能力。所谓“双机高可用”,仅指数据层冗余;客户端访问仍需直连某节点(如 node1:/gv_distrep)。若 node1 宕机,已有挂载会卡住或报错,不会自动跳到 node2。
- 要真正实现无缝切换,必须叠加 Keepalived + VIP:把
node1和node2绑定同一个虚拟 IP(如172.16.10.220),客户端只挂载172.16.10.220:/gv_distrep - Keepalived 检测 glusterd 进程存活,主节点故障时秒级抢占 VIP,客户端无感知
- 单独靠 Gluster 的
replica 2+ 客户端直连,只能做到“数据不丢”,做不到“服务不断”
最容易被忽略的点是:brick 故障后,客户端读写看似正常,但自愈(self-heal)默认是异步且延迟触发的。如果业务对一致性敏感,得手动开 gluster volume set gv_distrep cluster.self-heal-daemon on 并确认 gluster volume heal gv_distrep info 有活跃修复任务——否则副本差异可能长期存在。











