nginx双机热备需构建“故障感知—自动响应—服务降级—快速恢复”闭环:①多级健康检查穿透进程与业务层;②配置强同步+状态可验证;③缓存策略支持故障期间持续服务;④切换过程可观测、可干预、可回退。

要在 Nginx 双机热备环境中真正提升系统健壮性,不能只靠 Keepalived 漂移 VIP 就算完成。关键在于让整个链路具备“故障感知—自动响应—服务降级—快速恢复”的闭环能力。下面从四个实操维度展开说明。
健康检查必须穿透到进程与业务层
默认的 Keepalived VRRP 仅检测网络连通性,无法识别 Nginx 进程僵死、配置加载失败或 upstream 全挂等深层异常。必须叠加多级检查:
- 用 vrrp_script 脚本每 2 秒执行
systemctl is-active nginx或curl -I http://127.0.0.1/health,返回非 200 则触发降权 - 在 Nginx 内部配置 主动健康探活:启用
nginx_upstream_check_module,对每个后端定时发GET /health,失败三次立即摘除节点 - 为 proxy_pass 加上 超时兜底:
proxy_connect_timeout 3s; proxy_read_timeout 15s; proxy_next_upstream error timeout http_502 http_503;,避免单个慢后端拖垮整台 Nginx
配置与状态必须强一致且可验证
主备切换后服务异常,90% 源于配置不一致或状态不同步。需建立刚性同步机制:
- 所有 Nginx 配置(含
upstream、SSL 证书、缓存规则)通过 rsync + inotify 实时推送到备机,禁止手工修改 - 在
server块中加入唯一标识响应头:add_header X-Node "WEB01-MASTER";,便于 curl 测试时快速确认当前生效节点 - Keepalived 的
virtual_router_id、网卡名(如ens160)、advert_int必须完全相同,且该 ID 在局域网内全局唯一,防止 VRRP 冲突
缓存策略要支持故障期间持续服务
当后端全部不可用时,Nginx 若无缓存容错能力,用户将直接看到 502/503。需主动设计“有内容的中断”:
- 启用
proxy_cache_use_stale error timeout http_500 http_502 http_503 http_504;,允许返回过期缓存响应 - 配合
proxy_cache_lock on;和proxy_cache_background_update on;,避免缓存失效时大量请求同时回源 - 单独缓存定制化维护页:
location = /maintenance.html { root /usr/share/nginx/html; expires 1h; },并在 upstream 异常时用error_page 502 503 504 /maintenance.html;统一返回
故障切换过程必须可观测、可干预、可回退
自动切换不是黑盒操作,必须保留人工介入通道和完整行为日志:
- Keepalived 日志级别设为
debug,并重定向到独立文件:log syslog local0 debug;,记录每次 priority 变化、VIP 绑定/解绑事件 - 在主备节点均部署 watchdog 脚本:检测到 VIP 漂移后,自动抓取
nginx -t结果、ss -tnlp | grep :80端口状态、tail -n 20 /var/log/nginx/error.log,打包归档供复盘 - 保留手动接管能力:备节点配置中设置
nopreempt,主节点恢复后不自动抢回 VIP,需运维执行killall -USR2 keepalived显式触发切换











