断网测试是验证集群故障转移能力最直接、最贴近真实风险的方式，通过精准模拟网络层失效（如节点间心跳链路、客户端访问链路、存储网络链路或跨区域骨干链路中断），结合iptables、netsh、kubectl等工具实施可控隔离，并同步观测rto、数据一致性、tcp连接表现、客户端感知及日志闭环五项指标，且必须完成恢复后的二次验证以确保仲裁、同步与告警闭环。
断网测试是验证集群故障转移能力最直接、最贴近真实风险的方式。它不依赖硬件宕机或服务崩溃，而是精准模拟网络层失效——这恰恰是分布式系统中最隐蔽也最常发生的故障类型。
明确要切断哪一层的网络
网络中断不是“一刀切”，不同层级的断网触发的故障路径完全不同：
- 节点间心跳链路：专用于集群通信的私网（如Windows群集的专用心跳网卡），断开后集群会立即启动仲裁判断和资源迁移
- 客户端访问链路：对外提供服务的业务网口，断开后影响的是外部可达性，但不一定触发故障转移（需配合健康检查配置）
- 存储网络链路：连接共享存储（如iSCSI、SMB）的通道，断开可能引发磁盘脱机、仲裁盘不可见，进而导致强制切换
- 跨区域骨干链路：如美西→美东之间的BGP路由中断，考验CDN回源、多活路由策略与QUIC会话保持能力
用对工具，避免误判
手动拔线虽然简单，但缺乏可控性和可重复性。推荐按场景选用精准手段：
- Linux节点：用iptables -A OUTPUT -d [目标IP] -j DROP屏蔽特定目标（如另一节点IP或仲裁见证地址）
- Windows节点：使用netsh interface ip set address禁用网卡，或通过Failover Cluster Manager → 右键网络 → “禁用”操作
- Kubernetes/Patroni集群：直接kubectl delete pod主节点Pod，或kubectl cordon节点模拟网络隔离
- Docker Swarm：执行docker node update --availability drain [node-id]，再禁用其管理面网络
关键观察点不能只看“是否切换”
一次成功的故障转移，必须同步验证以下五项指标：
- 切换耗时（RTO）：从网络中断开始，到备用节点完全接管服务并响应请求的时间；金融类应用通常要求≤30秒
- 数据一致性：对比主备节点关键数据（如数据库表行数、文件校验和、计数器状态），确认无丢失或错乱
- TCP连接表现：长连接类服务（如WebSocket、数据库连接池）是否断连重连？F5等设备开启会话镜像后能否无感续传？
- 客户端感知：用curl或Postman持续轮询API，记录HTTP 503/超时出现时段及恢复时间点
- 日志闭环：检查集群日志中是否完整记录“检测离线→启动仲裁→停止原资源→启动新资源→更新DNS/VIP”全过程
别忘了恢复后的二次验证
故障转移只是前半程，恢复才是可靠性的真正试金石：
- 重新启用原主节点网络后，观察它是否以副本身份自动加入集群，而非强行抢主
- 确认数据是否完成反向同步（尤其在异步复制场景下）
- 检查监控告警是否自动清除，避免残留“节点离线”误报
- 验证仲裁配置是否仍有效（例如磁盘见证是否重新在线、云见证连接是否恢复）
