Nginx Referer 限制中怎么通过 map 模块实现白名单域名为空时也允许特定客户端抓取

舞姬之光

舞姬之光

2026-07-29

583人浏览

原创

当referer白名单为空时,可通过map模块结合ip、user-agent等客户端特征放行特定请求:先判断referer是否合法,再对空referer请求校验可信ip或ua,最终or合并结果控制访问。

nginx referer 限制中怎么通过 map 模块实现白名单域名为空时也允许特定客户端抓取

当 Nginx 的 Referer 限制中,白名单域名为空(即未配置合法来源)时,仍需允许特定客户端(如内部监控工具、本地调试请求、或固定 IP 的爬虫)直接抓取资源,可以通过 map 模块结合客户端特征(如 IP、User-Agent、Header)灵活控制访问逻辑,而不是单纯依赖 Referer

利用 map 匹配空 Referer + 客户端特征放行

map 模块支持对多个变量做复合判断。关键思路是:当 $http_referer 为空(或非法)时,不直接拒绝,而是转入二次校验——检查是否来自可信 IP 或携带特定标识。

  • 定义一个 $allowed_by_client 变量,综合判断:$http_referer 是否为空、$remote_addr 是否在内网/白名单、或 $http_user_agent 是否匹配预设值
  • 用嵌套 map 或单层 map 的多条件表达式(借助正则与字符串匹配)实现逻辑组合
  • 最终将 $allowed_by_client 与原有 Referer 白名单结果(如 $valid_referer)做 OR 运算,作为最终放行依据

配置示例:空 Referer 下按 IP 和 UA 放行

以下配置允许:① 正常 Referer 来源;② Referer 为空但来自 10.0.0.0/8 或 UA 含 curl-monitor 的请求:

map $http_referer $valid_referer {
    ~^(https?://(example\.com|api\.company\.org)(:[0-9]+)?/?)$ 1;
    default 0;
}
<p>map $http_referer $allowed_empty_referer {
"" 1;  # 空 Referer 触发后续判断
default 0;
}</p><p>map $allowed_empty_referer $by_client {
0 0;  # 非空 Referer,跳过客户端校验
1 $remote_addr;  # 空 Referer 时,把 IP 当作 key 传入下一层 map
}</p><h1>根据 IP 或 UA 决定是否放行(空 Referer 场景)</h1><p>map $by_client $client_trusted {
~^10.0.0. 1;        # 内网 IP
~^127.0.0.1$ 1;
default $http_user_agent;
}</p><p>map $client_trusted $final_allow {
1 1;
~curl-monitor 1;       # UA 包含 curl-monitor 即放行
default 0;
}</p><h1>最终判断:Referer 合法 或 客户端可信</h1><p>map $valid_referer$final_allow $allowed {
~^1 1;  # 只要任一为 1(字符串拼接后以 1 开头),即放行
default 0;
}</p>

然后在 server 或 location 中使用:if ($allowed = 0) { return 403; }

Nginx
Nginx

在宝塔面板中轻松管理Nginx高性能Web服务器。提供可视化配置反向代理、负载均衡、SSL证书及HTTP缓存功能,一键优化高并发性能,助您高效搭建稳定、快速的网站运行环境。

下载

更简洁的写法:用 map 直接合并判断逻辑

避免多层 map 嵌套,可将所有条件压缩到一个 map 中(Nginx 1.11.6+ 支持在 map 中使用多个变量):

map "$http_referer:$remote_addr:$http_user_agent" $access_granted {
    ~^https?://(example\.com|api\.company\.org):.* 1;                # 正常 Referer
    ~^:$10\.0\.0\.[0-9]+:.* 1;                                       # 空 Referer + 内网 IP
    ~^:127\.0\.0\.1:.* 1;
    ~^::curl-monitor$ 1;                                              # 空 Referer + 特定 UA
    default 0;
}

注意:"$http_referer:$remote_addr:$http_user_agent" 是拼接键,用冒号分隔。正则中 ^: 表示 Referer 为空(开头是冒号),:: 表示 Referer 和 IP 都为空(极少,但可覆盖本地 curl 测试场景)。

注意事项与避坑点

mapnginx.conf 的 http 块中定义,不能放在 server 内;变量名不能重复;空 Referer 的判定要区分真实空值("")和缺失(undefined),实际中两者都映射为 "",所以用 "" 匹配即可。

  • 测试空 Referer 请求时,用 curl -H "Referer:" ...curl -H "Referer:" --referer "" ...,避免被浏览器自动补全
  • 若需支持 HTTPS 下的 Referer 跳转丢失(如从 HTTPS 到 HTTP),需额外考虑协议降级场景,此时 Referer 可能被浏览器清空,应归入“空 Referer”分支统一处理
  • 不建议仅靠 User-Agent 防御——易伪造;生产环境应优先结合 IP、Token Header(如 X-Internal-Token)等更可靠标识

相关专题

更多
nginx 重启
nginx 重启

nginx重启对于网站的运维来说是非常重要的,根据不同的需求,可以选择简单重启、平滑重启或定时重启等方式。本专题为大家提供nginx重启的相关的文章、下载、课程内容,供大家免费下载体验。

2023.07.27

339

5

nginx 配置详解
nginx 配置详解

Nginx的配置是指设置和调整Nginx服务器的行为和功能的过程。通过配置文件,可以定义虚拟主机、HTTP请求处理、反向代理、缓存和负载均衡等功能。Nginx的配置语法简洁而强大,允许管理员根据自己的需要进行灵活的调整。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

1729

6

nginx配置详解
nginx配置详解

NGINX与其他服务类似,因为它具有以特定格式编写的基于文本的配置文件。本专题为大家提供nginx配置相关的文章,大家可以免费学习。

2023.08.04

2149

6

tomcat和nginx有哪些区别
tomcat和nginx有哪些区别

tomcat和nginx的区别:1、应用领域;2、性能;3、功能;4、配置;5、安全性;6、扩展性;7、部署复杂性;8、社区支持;9、成本;10、日志管理。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.02.23

416

5

nginx报404怎么解决
nginx报404怎么解决

当访问 nginx 网页服务器时遇到 404 错误,表明服务器无法找到请求资源,可以通过以下步骤解决:1. 检查文件是否存在且路径正确;2. 检查文件权限并更改为 644 或 755;3. 检查 nginx 配置,确保根目录设置正确、没有冲突配置等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.07.09

1245

5

Nginx报404错误解决方法
Nginx报404错误解决方法

解决方法:只需要加上这段配置:try_files $uri $uri/ /index.html;即可。想了解更多Nginx的相关内容,可以阅读本专题下面的文章。

2024.08.07

3811

3

nginx部署php项目教程汇总
nginx部署php项目教程汇总

本专题整合了nginx部署php项目教程汇总,阅读专题下面的文章了解更多详细内容。

2026.01.13

102

12

nginx配置文件详细教程
nginx配置文件详细教程

本专题整合了nginx配置文件相关教程详细汇总,阅读专题下面的文章了解更多详细内容。

2026.01.13

272

23

Nginx跨平台安装实操指南:Windows、macOS与Linux环境快速搭建
Nginx跨平台安装实操指南:Windows、macOS与Linux环境快速搭建

本指南详解Nginx在Windows、macOS及Linux系统的安装全流程。涵盖官方包解压、Homebrew一键部署、APT/YUM源配置及Docker容器化方案。无论新手或开发者,均可快速搭建运行环境,掌握跨平台核心指令,为后续配置与调优奠定坚实基础。

2026.03.16

107

12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习

nginx手册
nginx手册

共0课时 | 0人学习

进程与SOCKET
进程与SOCKET

共6课时 | 0.5万人学习