本质是负载均衡器误判健康状态,需先验证java节点真实状态(进程、健康接口、gc日志),再核对max_fails/fail_timeout是否适配冷启动与gc延迟,最后用nc、curl和ss区分网络层与应用层异常。

负载均衡后端节点频繁上下线,本质不是“节点不稳”,而是负载均衡器持续误判其健康状态。Java 类应用(如 Spring Boot)、长连接服务(如 WebSocket)或资源受限环境特别容易触发这类问题。核心思路是:先确认节点是否真故障,再检查健康检查逻辑是否适配业务特性,最后调优容错策略。
验证后端真实状态,排除“假下线”
别只盯着 Nginx error.log 里的 upstream is down,要动手验证:
- 直接访问健康接口:
curl -I http://192.168.1.10:8080/actuator/health,看 HTTP 状态码是否为 200、响应时间是否稳定(超时或返回 503/404 就是探针本身不可靠) - 查 Java 进程是否存活:
ps aux | grep java或systemctl status your-app,观察 Main PID 是否频繁变化(说明 JVM 在崩溃重启) - 翻 GC 日志线索:
journalctl -u your-app -n 50 --no-pager | grep -E "(GC overhead|OutOfMemory|killed)",Full GC 耗时 >30s 会直接导致健康探测超时,被当作宕机
核对健康检查参数是否匹配 Java 特性
Java 应用冷启动、初始化连接池、或一次 Full GC 都可能卡住 5–15 秒。Nginx 默认配置极易误杀:
- 检查
upstream中的max_fails=2 fail_timeout=5s—— 对 Java 来说太激进,建议改为max_fails=3 fail_timeout=30s - 确认
proxy_read_timeout(默认 60s)≥ 后端最长接口耗时。若导出接口需 45s,而该值设为 30s,则每次都会计入失败计数 -
fail_timeout是滑动窗口:30 秒内只要连续失败 3 次就摘除;但若第 1、2、28 秒各失败一次,第 29 秒成功,计数即清零
区分网络层不通与应用层异常
很多“下线”其实是连不上,而非服务挂了:
- 在 Nginx 机器上执行:
nc -zv 192.168.1.10 8080,失败说明防火墙、安全组、端口未监听或进程根本没起来 - 用
ss -tlnp | grep :8080查端口是否被正确监听;若无输出,可能是服务启动失败、端口配错、或 systemd 静默退出 - 对比
curl -v http://IP:PORT/health和telnet IP PORT结果:前者失败后者成功,说明是应用层响应异常(如返回非 2xx、重定向、SSL 握手失败)
临时增强 Nginx 容错能力
后端尚未彻底稳定前,可加一层缓冲:
- 启用请求重试:
proxy_next_upstream error timeout http_500 http_502 http_503 http_504,配合proxy_next_upstream_tries 2和proxy_next_upstream_timeout 8s - 对流式响应或长轮询接口,关闭缓冲:
proxy_buffering off,避免 Nginx 缓存已断开连接的残留响应 - 若用
ip_hash,注意所有节点被标记为 down 后,Nginx 初始化阶段会拒绝构建哈希表,直接报 no live upstreams,此时 backup 节点也必须通过健康检查才启用











