通过分析$upstream_addr和$upstream_response_time日志字段可快速定位拖慢响应的后端节点,结合awk聚合、ss连接统计及curl健康检查实现高效故障排查。

直接看 $upstream_addr 和 $upstream_response_time 这两个字段,就能快速揪出哪个后端正在拖慢整体响应——least_conn 本身不感知后端真实处理能力,只看连接数;而日志里记录的是实际转发结果,两者一对照,问题节点立刻浮现。
开启带后端标识的详细日志
在 http 块中定义专用日志格式,确保包含关键变量:
log_format upstream_log '$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$upstream_addr" $request_time $upstream_response_time $upstream_status';- 在
server或location块中启用:access_log /var/log/nginx/upstream.log upstream_log; - 确保
$upstream_addr准确输出(含端口),避免因地址格式不一致导致统计失败
用命令行快速聚合分析
不用等监控系统,终端几条命令就能定位异常:
- 查最近5分钟各后端请求数和平均响应时间:
awk '$4 > "['$(date -d '5 minutes ago' +[%d/%b/%Y:%H:%M)']" && $NF != "-" {print $NF, $(NF-1)}' /var/log/nginx/upstream.log | awk -F', ' '{addr[$1]++; sum[$1]+=$2} END {for (a in addr) print a, addr[a], sprintf("%.2f", sum[a]/addr[a])}' | sort -k2nr - 单独筛选 504 请求并统计目标后端:
awk '$9 == "504" {print $7}' /var/log/nginx/upstream.log | sort | uniq -c | sort -nr - 若某节点请求占比超其他节点2倍以上,且
$upstream_response_time普遍高于2s,基本可判定为拥堵源
交叉验证连接数与真实负载
日志显示某节点被频繁转发但响应慢,需确认它是否“看似空闲实则卡死”:
- 登录该后端服务器,执行
ss -tn state established '( sport = :8080 )' | wc -l(替换为实际端口),对比 Nginx 日志中它的$upstream_addr出现频次 - 若 Nginx 统计连接数很低,但后端
ss显示大量 established 连接,说明连接未释放或应用层阻塞(如线程池满、数据库锁) - 手动
curl -o /dev/null -s -w "%{time_total}\n" http://该IP:端口/health测试健康接口延迟,>1s 就值得警惕
补充:用 map 实现按节点分离日志(便于长期跟踪)
对重点节点做独立日志路径,避免混在一起难排查:
- 在
http块中加:map $upstream_addr $backend_tag { default "unknown"; "192.168.1.10:8080" "node-a"; "192.168.1.11:8080" "node-b"; } - 配置日志:
access_log /var/log/nginx/backend/$backend_tag.log upstream_log; - 这样每个节点日志独立,后续用
tail -f或脚本轮询都更直观











