apache中精准拦截恶意seo爬虫需结合真实日志分析ua特征，用setenvifnocase匹配ahrefsbot、semrushbot等标识并放行baiduspider/googlebot，辅以referer为空和敏感路径双重验证，避免误伤。
直接在 Apache 配置中用 User-Agent 正则拦截恶意 SEO 爬虫，关键不是“全盘封禁 UA”，而是精准匹配其真实行为特征——比如固定扫描路径、高频空 Referer、UA 中含特定工具标识（如 ahrefsbot、semrushbot、dotnetcurl、python-requests/2.31），同时必须放行主流搜索引擎爬虫（如 Baiduspider、Googlebot）避免影响收录。
一、先确认日志里真实存在的恶意 UA 模式
别凭印象写规则。打开 access.log，用以下命令快速抓出高频、低质量 UA：
- 查近 24 小时内请求量 Top 20 的 UA（排除常见浏览器）：
awk '$9==200 || $9==404 {print $12}' /var/log/apache2/access.log | grep -v -E "(Chrome|Firefox|Safari|Edge|Opera)" | sort | uniq -c | sort -nr | head -20 - 重点看是否含：
ahrefsbot.*SEO、semrushbot.*site_audit、dotnetcurl、python-requests.*[1-9]\.[0-9]、go-http-client/2.0、ltx71、masscan等典型扫描标识 - 注意：部分恶意爬虫会伪造 UA 为 Chrome，此时需结合
Referer="-"+GET /wp-admin/.*或GET /api/v1/.*\?id=等路径特征交叉判断
二、在 .htaccess 或 httpd.conf 中部署精准 UA 拦截规则
推荐用 SetEnvIfNoCase + Deny from env 方式，比 RewriteRule 更轻量、更易审计：
- 在站点根目录的
.htaccess中添加（无需重启 Apache）：SetEnvIfNoCase User-Agent "(ahrefsbot|semrushbot|dotnetcurl|python-requests/2\.[0-9]|go-http-client/2\.0|masscan|ltx71)" BAD_SEO_CRAWLER<br>Order Allow,Deny<br>Allow from all<br>Deny from env=BAD_SEO_CRAWLER
- 若需保留部分 ahrefsbot（如合法 SEO 工具调用），可加白名单：
SetEnvIfNoCase User-Agent "ahrefsbot" AHRF<br>SetEnvIfNoCase Remote_Addr "^213\.180\.131\." AHRF_OK # ahrefs 官方 IP 段示例<br>SetEnvIfNoCase User-Agent "(ahrefsbot|semrushbot)" BAD_SEO_CRAWLER<br>SetEnvIfNoCase AHRF ^1$ !BAD_SEO_CRAWLER<br>SetEnvIfNoCase AHRF_OK ^1$ !BAD_SEO_CRAWLER
三、配合 Referer 和路径做二次验证（防 UA 伪造）
仅靠 UA 不可靠。对命中 BAD_SEO_CRAWLER 的请求，再叠加两个硬性条件可大幅降低误伤：
- 要求必须同时满足「UA 匹配」+「Referer 为空」+「请求路径含 admin、phpmyadmin、.env、backup.zip」等敏感词，才触发拦截
- Apache 不支持多条件
SetEnvIf，可用mod_rewrite补充：RewriteEngine On<br>RewriteCond %{ENV:BAD_SEO_CRAWLER} ^1$<br>RewriteCond %{HTTP_REFERER} ^-?$<br>RewriteCond %{REQUEST_URI} \.(env|bak|sql|zip|log)$ [NC,OR]<br>RewriteCond %{REQUEST_URI} /(admin|phpmyadmin|wp-config|shell) [NC]<br>RewriteRule ^ - [F]
四、上线前务必做三件事
- 用
curl -A "ahrefsbot/7.0"和curl -A "Mozilla/5.0 (compatible; Googlebot/2.1)"分别测试，确认 Googlebot 不被误拦 - 在
error.log中开启LogLevel alert rewrite:trace3，观察拦截日志是否按预期触发 - 把规则先放在
custom-block.conf中，通过Include custom-block.conf引入，方便快速启停
