nginx故障转移排查核心是“为什么没切”或“切了不生效”,需从vip漂移、流量不通、频繁抖动、脑裂四方面按路径检查:一查keepalived心跳与健康脚本;二验arp刷新、防火墙及nginx监听;三析探测超时、网络丢包与系统负载;四防网络分区导致双主,引入单播心跳或仲裁机制。

排查 Nginx 故障转移的疑难问题,核心不是“有没有切换”,而是“为什么没切”或“切了但不生效”。常见现象如 VIP 不漂移、切换延迟高、脑裂、反复抖动、客户端感知明显中断等,背后往往不是单一配置错误,而是探测逻辑、网络状态、资源约束、服务依赖四层叠加的结果。下面按实际排障路径组织关键检查点。
一、VIP 漂移失效:先确认 keepalived 心跳是否真正断开
故障转移失败的第一怀疑对象是 keepalived 本身。很多“主节点挂了但 VIP 没切”的情况,其实是备用节点仍收得到心跳包——说明主节点并未真正宕机,只是 nginx 进程崩溃或端口未监听。
- 在备用节点执行
tcpdump -i eth0 vrrp -n,观察是否持续收到主节点发来的 VRRP 报文(默认组播地址 224.0.0.18);若仍有包,说明 keepalived 进程还在运行,需进一步查主节点的systemctl status keepalived和ps aux | grep keepalived - 检查主节点 keepalived 配置中
vrrp_script的健康检查脚本是否返回非 0 值(例如检测 nginx 端口的killall -0 nginx >/dev/null || exit 1),并确认该脚本是否被正确调用(track_script是否绑定、执行权限是否正确) - 注意时间同步问题:两节点系统时间偏差超过 1 秒,可能导致 VRRP 协议异常;用
chronyc tracking或ntpq -p核对时间源一致性
二、切换后流量不通:重点验证 ARP 刷新与路由可达性
VIP 成功绑定到备用节点,不代表客户端能访问。局域网内其他设备(包括网关、交换机、客户端)的 ARP 缓存可能仍指向旧 MAC 地址,造成“有 IP、无响应”。
- 在备用节点切换后立即执行
arping -c 3 -A -I eth0 <vip></vip>(发送免费 ARP),强制刷新本网段设备缓存;若交换机启用了 ARP 学习保护,还需确认其是否支持 gratuitous ARP - 从客户端 ping VIP,同时在备用节点抓包:
tcpdump -i eth0 host <client_ip> and port 80</client_ip>,确认请求是否真正到达;若无包,可能是防火墙拦截(iptables -L -n -v | grep <vip></vip>)、网卡未启用混杂模式,或 VIP 绑定在错误接口(如绑在 lo 而非 eth0) - 检查备用节点 nginx 是否监听 VIP:80 —— 默认只监听 0.0.0.0:80,但若配置了
listen 192.168.1.100:80(即指定 IP),而 VIP 是 192.168.1.101,则不会响应
三、频繁切换(抖动):锁定探测失败的真实原因
主备来回切换,表面是 keepalived 在“抢 VIP”,实质是健康检查反复失败又恢复。不能只看 keepalived 日志,要穿透到检查项本身。
- 检查自定义健康脚本的执行耗时:若脚本里包含
curl -s http://127.0.0.1/health,而该接口依赖数据库,数据库慢查询会导致脚本超时(keepalived 默认 timeout 2 秒),误判为 nginx 异常;建议脚本内加超时控制,如timeout 1 curl -s --max-time 1 http://127.0.0.1/health || exit 1 - 确认网络层面是否存在间歇性丢包:在主节点用
ping -f -c 100,观察丢包率;VRRP 对丢包敏感,连续 3 个周期(默认每秒 1 次)收不到即切换,轻微丢包就会引发抖动 - 检查系统负载:备用节点 CPU 长期 95%+ 或内存不足时,keepalived 进程可能被调度延迟,导致心跳发送不及时,被主节点判定为“失联”而触发反向抢占
四、脑裂(Split-Brain):双主共存的危险状态
主备节点同时持有 VIP,流量被随机分发,极易导致数据不一致或会话丢失。这不是配置错误,而是隔离机制缺失。
- 最直接证据:两节点执行
ip addr show | grep <vip></vip>均显示存在;此时立即停掉其中一台 keepalived,再逐项排查 - 根本原因通常是网络分区(network partition):主备之间物理链路或交换机 ACL 阻断了 VRRP 组播报文,但各自与客户端网络仍通;可临时加一条单播心跳(
vrrp_instance VI_1 { unicast_src_ip 主IP; unicast_peer { 备IP; } })辅助定位 - 预防手段:在 keepalived 配置中加入强制仲裁机制,例如通过 SSH 连接对方节点执行
pgrep keepalived,仅当对方不可达且本地服务健康时才升主;或借助第三方服务(如 Redis)做选主协调











