如何配置 log_format 注入 $http_user_agent 结合请求路径过滤并阻断恶意爬虫对状态码的试探

阿辰小哥_3802

阿辰小哥_3802

2026-06-20

919人浏览

原创

真正起效的是将 $http_user_agent 与请求路径、状态码联动形成可观测+可拦截闭环;通过自定义 log_format 暴露 ua、uri、status 三要素,用 map 模块标记可疑组合,并在 location 中结合 limit_req 和 return 实现分级阻断。

如何配置 log_format 注入 $http_user_agent 结合请求路径过滤并阻断恶意爬虫对状态码的试探

直接在 log_format 中加入 $http_user_agent 是基础动作,真正起效的是把它和请求路径、状态码联动起来,形成可观测 + 可拦截的闭环。重点不是“记录 UA”,而是让 UA 成为判断依据之一,配合 URI 和 status 实现精准识别与响应。

配置增强型日志格式,暴露关键维度

默认日志不包含足够信息,需自定义 format 显式暴露三要素:UA、URI、status。例如:

log_format bot_audit '$time_iso8601 | $remote_addr | "$request_uri" | $status | "$http_user_agent" | $request_time | $body_bytes_sent';

这里把 $request_uri 放在 $status 前,便于后续用 awk 或日志分析工具按“路径+状态码”组合筛选。比如快速定位 /api/user?uid=1 返回 200 但 UA 是 python-requests 的请求链。

用 map 模块标记“UA+路径+状态”可疑组合

单纯匹配 UA 容易误伤,加入路径和状态上下文能大幅降低误判。例如拦截对登录接口的暴力试探:

map "$http_user_agent:$request_uri:$status" $is_suspicious_login {
  default 0;
  "~*python-requests:/login:200" 1;
  "~*curl:/auth/token:401" 1;
  "~*go-http-client:/api/v1/users:403" 1;
}

Nginx Config Linter
Nginx Config Linter

对 Nginx 配置文件进行语法检查、验证和安全、性能审计。

下载

这个 map 不依赖 if,性能高,且可扩展——同一行就能表达“某 UA 访问某路径返回某状态”的异常模式,比单独过滤 UA 更贴近真实攻击行为。

在 location 中结合 limit_req 和 return 实现分级阻断

标记出可疑请求后,不能只靠日志看,要立刻干预。推荐两种策略:

  • 对已确认恶意的 UA+路径组合(如 sqlmap 扫描 /admin),直接 return 403;
  • 对模糊但高频的试探(如大量 404 + 空 UA + 遍历 /wp-content/),启用限流:limit_req zone=scanburst burst=3 nodelay;
  • 避免在 if 中嵌套复杂逻辑,把判断统一放在 server 块顶层,用 $is_suspicious_login 触发对应动作。

验证阻断是否生效,盯住日志里的“试探痕迹”

部署后,用以下命令实时观察是否捕获到典型试探行为:

tail -f /var/log/nginx/bot_audit.log | grep -E "(401|403|404).*python-requests|curl|sqlmap"

重点关注三类组合:
• 大量 401 后紧跟 200(爆破成功)
• 同一 IP 在 1 分钟内对 /api/* 返回 10+ 次 404(目录遍历)
• /health 或 /status 路径被非浏览器 UA 高频访问(探测接口)

相关专题

更多
nginx 重启
nginx 重启

nginx重启对于网站的运维来说是非常重要的,根据不同的需求,可以选择简单重启、平滑重启或定时重启等方式。本专题为大家提供nginx重启的相关的文章、下载、课程内容,供大家免费下载体验。

2023.07.27

383

5

nginx 配置详解
nginx 配置详解

Nginx的配置是指设置和调整Nginx服务器的行为和功能的过程。通过配置文件,可以定义虚拟主机、HTTP请求处理、反向代理、缓存和负载均衡等功能。Nginx的配置语法简洁而强大,允许管理员根据自己的需要进行灵活的调整。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3187

6

nginx配置详解
nginx配置详解

NGINX与其他服务类似,因为它具有以特定格式编写的基于文本的配置文件。本专题为大家提供nginx配置相关的文章,大家可以免费学习。

2023.08.04

5825

6

tomcat和nginx有哪些区别
tomcat和nginx有哪些区别

tomcat和nginx的区别:1、应用领域;2、性能;3、功能;4、配置;5、安全性;6、扩展性;7、部署复杂性;8、社区支持;9、成本;10、日志管理。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.02.23

561

5

nginx报404怎么解决
nginx报404怎么解决

当访问 nginx 网页服务器时遇到 404 错误,表明服务器无法找到请求资源,可以通过以下步骤解决:1. 检查文件是否存在且路径正确;2. 检查文件权限并更改为 644 或 755;3. 检查 nginx 配置,确保根目录设置正确、没有冲突配置等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.07.09

1476

5

Nginx报404错误解决方法
Nginx报404错误解决方法

解决方法:只需要加上这段配置:try_files $uri $uri/ /index.html;即可。想了解更多Nginx的相关内容,可以阅读本专题下面的文章。

2024.08.07

3918

3

nginx部署php项目教程汇总
nginx部署php项目教程汇总

本专题整合了nginx部署php项目教程汇总,阅读专题下面的文章了解更多详细内容。

2026.01.13

122

12

nginx配置文件详细教程
nginx配置文件详细教程

本专题整合了nginx配置文件相关教程详细汇总,阅读专题下面的文章了解更多详细内容。

2026.01.13

437

23

Nginx跨平台安装实操指南:Windows、macOS与Linux环境快速搭建
Nginx跨平台安装实操指南:Windows、macOS与Linux环境快速搭建

本指南详解Nginx在Windows、macOS及Linux系统的安装全流程。涵盖官方包解压、Homebrew一键部署、APT/YUM源配置及Docker容器化方案。无论新手或开发者,均可快速搭建运行环境,掌握跨平台核心指令,为后续配置与调优奠定坚实基础。

2026.03.16

159

12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习

nginx手册
nginx手册

共0课时 | 0人学习

进程与SOCKET
进程与SOCKET

共6课时 | 0.5万人学习