rewrite不适合屏蔽爬虫，因其仅重写URI而不终止请求或返回状态码，恶意爬虫仍可获得200响应；应使用return+if+map组合在早期返回403，并配合limit_req限速及IP封禁实现有效防护。
直接用 rewrite 屏蔽恶意蜘蛛效果差、不可靠，也不推荐——它本质是 URL 重写，不是访问控制；真要拦截，得用 return 或 deny 配合更底层的判断逻辑。
为什么 rewrite 不适合屏蔽爬虫
rewrite 的作用是修改请求路径（比如把 /old → /new），再交给后续 location 处理。它不会终止请求，也不会返回状态码。即使你写成：
rewrite ^.*$ /blocked.html last;
这只是把所有请求都重写到一个页面，而那个页面仍会被正常响应（除非 /blocked.html 本身返回 403）。恶意爬虫照样能拿到 HTTP 200 响应，资源照耗，防护形同虚设。
真正有效的拦截方式是 return + if + map
拦截动作必须在请求处理早期完成，且立即返回状态码。推荐组合：
- 在
http块中用map预定义黑名单变量（性能高、顺序可控） - 在
server块顶层（location外）用if ($blocked_ua) { return 403; } - 单独处理空 UA：
if ($http_user_agent = "") { return 403; } - 大小写不敏感匹配用
~*，避免漏掉 python-requests、HTTPie 等变体
补充：IP 限速比 UA 过滤更关键
只拦 UA 只能挡住“懒爬虫”；高频自动化脚本（每秒几十次请求）根本不在乎 UA 是什么。必须配合：
limit_req_zone $binary_remote_addr zone=spider_limit:10m rate=3r/s;
limit_req zone=spider_limit burst=5 nodelay;
这段放在 location / 或敏感接口下，从源头掐断请求洪流，比任何 UA 规则都管用。
robots.txt 是摆设，不能当防护用
它只是君子协议。Baiduspider、Googlebot 会遵守，但 sqlmap、gobuster、nuclei 之类工具压根不看 robots.txt，直接扫 /admin.php、/.env、/wp-login.php。真实防护必须落在 Nginx 请求处理链路上，靠日志分析+UA+IP+频率三者联动。
