Nginx故障转移需构建配置、探测、验证、可观测性闭环。①用max_fails+fail_timeout+proxy_next_upstream实现秒级精准剔除;②backup节点须带健康检查并独立部署;③主动HTTP探针+Keepalived双保险防假死;④通过客户端响应、日志时间戳、压测失败数及Prometheus指标回放验证切换真实性与完整性。

要让 Nginx 故障转移真正支撑核心业务“零中断”,光配对参数远远不够——关键在于把配置、探测、验证和可观测性串成闭环。生产级演练不是“切得动”,而是“切得准、切得稳、切得可证”。以下四点是实战中必须落地的核心策略。
用 max_fails + fail_timeout 做准实时节点剔除
后端服务器宕机或响应异常时,Nginx 必须在秒级内停止发流量过去。不能依赖默认行为(只对 connection refused 和 timeout 生效),需显式定义失败条件:
- 设置 max_fails=2 fail_timeout=10s:连续 2 次失败即下线,10 秒内不重试,避免雪崩式重试压垮邻近节点
- 搭配 proxy_next_upstream error timeout http_502 http_503 http_504:确保后端返回这些状态码也计入失败,覆盖应用层异常(如数据库连不上导致的 503)
- 所有 server 行统一加 weight=1,避免权重干扰故障判定逻辑
加 backup 服务器兜底,但必须带健康检查
backup 不是“摆设”,而是灾备链路最后一道闸门。若 backup 自身不可用,切换等于断网:
- 在 upstream 中声明:server 192.168.1.99:8080 backup max_fails=1 fail_timeout=5s;
- backup 节点也要走同一套探测逻辑,不能因为是 backup 就跳过健康校验
- 建议将 backup 部署在独立可用区(AZ),与主集群物理隔离,防止单点基础设施故障波及全部节点
主动探测 + 外部心跳双保险,防假死
仅靠被动失败计数无法发现“进程活着但服务卡死”的情况(例如 GC 停顿、线程池耗尽)。必须引入主动健康检查:
- 开源版 Nginx 可集成 ngx_http_upstream_check_module,配置 HTTP 探针访问 /health 端点,超时 2s、失败 2 次即标记为 down
- 同时部署 Keepalived 实现 VIP 层高可用,并用 iptables -A OUTPUT -p vrrp -j DROP 模拟网络隔离,验证 VRRP 是否不脑裂、VIP 是否单点漂移
- 两个维度(请求层 + 网络层)都通过,才算真实具备抗多类故障能力
用客户端行为 + 日志比对做切换真实性验证
一切验证必须回归用户视角。不能只看日志有没有“switched”,要看用户是否感知不到中断:
- 在客户端持续执行:watch -n 0.2 'curl -sI http://vip | head -1 2>/dev/null',切换瞬间允许最多 1 次超时或 Connection refused,之后必须立即返回 HTTP/1.1 200 OK
- 对比主备 access.log 的时间戳:主节点最后一条日志时间与备节点第一条日志时间差 ≤ 1 秒,证明无请求丢失、无乱序
- 用 ab 或 wrk 发起长连接压测:ab -n 1000 -c 50 http://vip/,失败请求数必须为 0;若有失败,说明重试机制未生效或 backup 未就绪
不复杂但容易忽略:每次演练后,必须回放 Prometheus 中 keepalived_process_status、nginx_worker_processes、ip_addr_count{vip="xxx"} 三条指标曲线,确认 VIP 漂移、角色切换、进程恢复三者时间对齐,形成可追溯证据链。











