Nginx 怎么使用 include 配置导入自动更新的恶意爬虫 Agent 列表

舞夢輝影

舞夢輝影

2026-07-28

378人浏览

原创

nginx可通过include指令加载外部恶意ua规则文件实现拦截,需将map定义于http块内并配合nginx -s reload生效;自动更新依赖外部脚本拉取、转换并重载配置。

nginx 怎么使用 include 配置导入自动更新的恶意爬虫 agent 列表

在 Nginx 中,可以通过 include 指令动态加载外部配置文件,从而实现对恶意 User-Agent 的自动拦截。关键在于:外部文件需为合法的 Nginx 配置片段,且必须被放在 httpserverlocation 块内;Nginx 不支持运行时热重载该文件内容,必须配合 nginx -s reload 才能生效。

准备可被 include 的恶意 UA 规则文件

新建一个纯文本文件(例如 /etc/nginx/conf.d/bad-bots.conf),内容为一系列 if + return 403 或使用 map 映射更高效的方式:

  • 推荐用 map 方式(性能更好,避免在 location 中频繁判断):
map $http_user_agent $bad_bot { default 0; "~*python-requests" 1; "~*curl/7\." 1; "~*masscan" 1; "~*sqlmap" 1; "~*nuclei" 1; "~*ZmEu" 1; "~*Baiduspider" 1; # 可选:按需屏蔽特定搜索引擎 }

注意:map 必须定义在 http 块内,不能放在 server 或更低层级。

在主配置中正确 include 该文件

编辑你的站点配置或 nginx.confhttp 块,加入:

http { include /etc/nginx/conf.d/bad-bots.conf;
server {
    ...
    if ($bad_bot) {
        return 403;
    }
    ...
}

}

Nginx
Nginx

在宝塔面板中轻松管理Nginx高性能Web服务器。提供可视化配置反向代理、负载均衡、SSL证书及HTTP缓存功能,一键优化高并发性能,助您高效搭建稳定、快速的网站运行环境。

下载

确保 include 行位于 http 块开头或合适位置,且路径可读。Nginx 启动时会一次性读取并解析该文件。

实现“自动更新”需要外部脚本配合

Nginx 本身不会监控文件变化。要达到“自动更新”,需借助定时任务 + 脚本完成三步:

示例简版更新脚本(/usr/local/bin/update-bad-bots.sh):

#!/bin/bash OUTPUT="/etc/nginx/conf.d/bad-bots.conf" echo "map \$http_user_agent \$bad_bot {" > "$OUTPUT" echo " default 0;" >> "$OUTPUT" curl -s https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/conf.d/globalblacklist.conf | \ grep 'set \$bad_bot' | sed -E 's/set \$bad_bot 1;/1;/; s/.*"([^"]+)".*/ "~*\1"/' | sort -u >> "$OUTPUT" echo "}" >> "$OUTPUT" nginx -t && nginx -s reload

安全与性能注意事项

map 是最轻量的方案,比在每个 locationif 更可靠;但要注意:

  • 正则表达式不要写成 ~*curl 这样过于宽泛,否则可能误杀正常请求(如含 curl 字样的合法 UA)
  • 避免在 if 中使用复杂正则或嵌套逻辑,Nginx 的 if 有已知限制和副作用
  • 更新脚本应加锁或校验文件变更,防止重复 reload 导致连接中断
  • 建议搭配日志字段 $bad_bot 记录匹配情况,便于审计

相关专题

更多
nginx 重启
nginx 重启

nginx重启对于网站的运维来说是非常重要的,根据不同的需求,可以选择简单重启、平滑重启或定时重启等方式。本专题为大家提供nginx重启的相关的文章、下载、课程内容,供大家免费下载体验。

2023.07.27

339

5

nginx 配置详解
nginx 配置详解

Nginx的配置是指设置和调整Nginx服务器的行为和功能的过程。通过配置文件,可以定义虚拟主机、HTTP请求处理、反向代理、缓存和负载均衡等功能。Nginx的配置语法简洁而强大,允许管理员根据自己的需要进行灵活的调整。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

1728

6

nginx配置详解
nginx配置详解

NGINX与其他服务类似,因为它具有以特定格式编写的基于文本的配置文件。本专题为大家提供nginx配置相关的文章,大家可以免费学习。

2023.08.04

2125

6

tomcat和nginx有哪些区别
tomcat和nginx有哪些区别

tomcat和nginx的区别:1、应用领域;2、性能;3、功能;4、配置;5、安全性;6、扩展性;7、部署复杂性;8、社区支持;9、成本;10、日志管理。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.02.23

416

5

nginx报404怎么解决
nginx报404怎么解决

当访问 nginx 网页服务器时遇到 404 错误,表明服务器无法找到请求资源,可以通过以下步骤解决:1. 检查文件是否存在且路径正确;2. 检查文件权限并更改为 644 或 755;3. 检查 nginx 配置,确保根目录设置正确、没有冲突配置等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.07.09

1244

5

Nginx报404错误解决方法
Nginx报404错误解决方法

解决方法:只需要加上这段配置:try_files $uri $uri/ /index.html;即可。想了解更多Nginx的相关内容,可以阅读本专题下面的文章。

2024.08.07

3809

3

nginx部署php项目教程汇总
nginx部署php项目教程汇总

本专题整合了nginx部署php项目教程汇总,阅读专题下面的文章了解更多详细内容。

2026.01.13

102

12

nginx配置文件详细教程
nginx配置文件详细教程

本专题整合了nginx配置文件相关教程详细汇总,阅读专题下面的文章了解更多详细内容。

2026.01.13

272

23

Nginx跨平台安装实操指南:Windows、macOS与Linux环境快速搭建
Nginx跨平台安装实操指南:Windows、macOS与Linux环境快速搭建

本指南详解Nginx在Windows、macOS及Linux系统的安装全流程。涵盖官方包解压、Homebrew一键部署、APT/YUM源配置及Docker容器化方案。无论新手或开发者,均可快速搭建运行环境,掌握跨平台核心指令,为后续配置与调优奠定坚实基础。

2026.03.16

107

12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习

nginx手册
nginx手册

共0课时 | 0人学习

进程与SOCKET
进程与SOCKET

共6课时 | 0.5万人学习