如何配置 Nginx 实时统计各后端节点的命中率与错误率分布

云杰大大_3392

云杰大大_3392

2026-05-10

374人浏览

原创

需为每个upstream节点配置独立结构化日志,通过map映射backend_id、log_format嵌入$upstream_cache_status和$upstream_status等变量,并用awk脚本实时统计各节点缓存命中率与http/上游错误率。

如何配置 nginx 实时统计各后端节点的命中率与错误率分布

要实时统计各后端节点的缓存命中率和错误率分布,不能只依赖全局日志或 stub_status 页面——必须把指标落到每个 upstream 节点上,并通过 Nginx 原生变量与日志结构化实现精准打点。核心思路是:用独立日志分离节点行为 + 关键变量埋点 + 轻量脚本聚合分析。

一、为每个节点生成带标识的访问日志

不分离日志,就无法区分是 node-a 慢还是 node-b 错误多。关键在 map + $upstream_addr + access_log 动态路径:

  • 在 http 块中定义 map,将后端地址映射为可读 ID:
    map $upstream_addr $backend_id {
      default "unknown";
      "10.0.1.10:8080" "node-a";
      "10.0.1.11:8080" "node-b";
      "10.0.1.12:8080" "node-c";
    }
  • 定义日志格式,包含缓存状态与响应状态:
    log_format node_detail '$remote_addr - $remote_user [$time_local] ' '"$request" $status $body_bytes_sent ' '$upstream_cache_status $upstream_status ' '$request_time $upstream_response_time $backend_id';
  • 在 location 中启用节点级日志:
    access_log /var/log/nginx/backend/$backend_id-access.log node_detail;
  • 确保 /var/log/nginx/backend/ 目录存在且 Nginx 用户(如 www-data)有写权限

二、统计各节点缓存命中率(HIT/MISS/EXPIRED)

命中率 = HIT 数 / 总请求量。需对每个节点日志单独计算:

Nginx Hosting
Nginx Hosting

通过服务器本地nginx实例实现零认证静态游戏托管。作为所有浏览器游戏的主要部署方式,无需登录、无需令牌、无需用户操作。

下载
  • 查 node-a 当前命中率(近 1 小时):
    awk '$10=="\"HIT\"" {hit++} END{printf "%.2f%\n", hit/NR*100}' /var/log/nginx/backend/node-a-access.log
  • 批量统计所有节点(假设日志文件存在):
    for f in /var/log/nginx/backend/*-access.log; do n=$(basename $f | cut -d'-' -f1); h=$(awk -v q='"HIT"' '$10==q {hit++} END{printf "%.0f", hit/NR*100}' $f 2>/dev/null); echo "$n: ${h:-0}%"; done
  • $upstream_cache_status 字段值包括:HIT(命中)、MISS(未命中)、EXPIRED(过期)、BYPASS(绕过缓存)等,全部参与分母统计

三、统计各节点错误率(5xx + upstream 失败)

错误率需从两个维度叠加看:HTTP 层($status) + 代理层($upstream_status):

  • HTTP 错误率(5xx 占比):
    awk '$9 ~ /^5[0-9]{2}$/ {err++} END{printf "%.2f%\n", err/NR*100}' /var/log/nginx/backend/node-b-access.log
  • 上游失败率(连接超时、502/503/504 等):
    awk '$11 ~ /(502|503|504|timeout|error)/ {err++} END{printf "%.2f%\n", err/NR*100}' /var/log/nginx/backend/node-c-access.log
  • 特别注意:$upstream_status 是空格分隔的多个值(如“200 502”表示重试后成功),建议用 awk '{split($11,a," "); for(i in a) if(a[i]~/^(502|503|504|timeout|error)$/) cnt++} END{print cnt/NR*100}' 更准确提取

四、轻量实时监控脚本示例

每分钟执行一次,输出各节点关键指标,支持简单告警:

  • 脚本片段(保存为 /usr/local/bin/nginx-node-stats.sh):
    #!/bin/bash
    LOG_DIR="/var/log/nginx/backend"
    for log in $LOG_DIR/*-access.log; do
      [ ! -s "$log" ] && continue
      node=$(basename $log | cut -d'-' -f1)
      hit=$(awk '$10=="\"HIT\"" {c++} END{print c+0}' $log)
      total=$(wc -l   err5xx=$(awk '$9~/^5[0-9]{2}$/ {c++} END{print c+0}' $log)
      echo "$node: HIT=$(printf %.1f $((hit*1000/total))e-3)% 5xx=$(printf %.1f $((err5xx*1000/total))e-3)%"
    done
  • 加入 crontab 每分钟运行:
    * * * * * /usr/local/bin/nginx-node-stats.sh >> /var/log/nginx/backend/realtime-stats.log
  • 当某节点 5xx > 5% 或 HIT curl 推送企业微信/钉钉告警

不复杂但容易忽略:所有统计都基于日志行,务必保证日志格式稳定、字段位置一致;$upstream_cache_status 和 $upstream_status 必须在 proxy_pass 后生效,location 中未走代理的请求(如静态资源直出)不会产生这些变量。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

nginx

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2583

5

前端和后端的区别
前端和后端的区别

前端关注的是用户界面的设计和交互,而后端则注重数据处理和逻辑控制。想了解更多前端后端的相关内容,可以阅读本专题下面的文章。

2024.03.19

6610

13

后端的主要工作内容介绍
后端的主要工作内容介绍

后端是应用程序的服务端部分,负责核心任务,如数据库交互、业务逻辑处理和响应客户端请求。想了解更多后端的相关内容,可以阅读本专题下面的文章。

2024.03.19

6046

10

nginx 重启
nginx 重启

nginx重启对于网站的运维来说是非常重要的,根据不同的需求,可以选择简单重启、平滑重启或定时重启等方式。本专题为大家提供nginx重启的相关的文章、下载、课程内容,供大家免费下载体验。

2023.07.27

403

5

nginx 配置详解
nginx 配置详解

Nginx的配置是指设置和调整Nginx服务器的行为和功能的过程。通过配置文件,可以定义虚拟主机、HTTP请求处理、反向代理、缓存和负载均衡等功能。Nginx的配置语法简洁而强大,允许管理员根据自己的需要进行灵活的调整。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3707

6

nginx配置详解
nginx配置详解

NGINX与其他服务类似,因为它具有以特定格式编写的基于文本的配置文件。本专题为大家提供nginx配置相关的文章,大家可以免费学习。

2023.08.04

6445

6

tomcat和nginx有哪些区别
tomcat和nginx有哪些区别

tomcat和nginx的区别:1、应用领域;2、性能;3、功能;4、配置;5、安全性;6、扩展性;7、部署复杂性;8、社区支持;9、成本;10、日志管理。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.02.23

581

5

nginx报404怎么解决
nginx报404怎么解决

当访问 nginx 网页服务器时遇到 404 错误,表明服务器无法找到请求资源,可以通过以下步骤解决:1. 检查文件是否存在且路径正确;2. 检查文件权限并更改为 644 或 755;3. 检查 nginx 配置,确保根目录设置正确、没有冲突配置等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.07.09

1496

5

Nginx报404错误解决方法
Nginx报404错误解决方法

解决方法:只需要加上这段配置:try_files $uri $uri/ /index.html;即可。想了解更多Nginx的相关内容,可以阅读本专题下面的文章。

2024.08.07

3978

3

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习

nginx手册
nginx手册

共0课时 | 0人学习

进程与SOCKET
进程与SOCKET

共6课时 | 0.5万人学习