精准拦截恶意爬虫需先分析日志识别真实ua特征（如ahrefsbot、python-requests），结合空referer与敏感路径双重验证，放行baiduspider/googlebot等主流爬虫，再通过setenvifnocase标记+fail2ban动态封禁ip，避免误伤与漏防。

直接从 Apache 日志里揪出恶意爬虫，再自动封掉它的 IP，这件事不难，但关键在“准”和“快”——不能误伤百度、谷歌等正经爬虫，也不能只拦 UA 而放走伪造成 Chrome 的高仿真扫描器。

一、先看真实日志，别猜UA

打开你的 access.log，用这条命令快速筛出可疑 UA（排除主流浏览器）：

• 查高频非浏览器 UA（近24小时）： awk '$9==200 || $9==404 {print $12}' /var/log/apache2/access.log | grep -v -E "(Chrome|Firefox|Safari|Edge|Opera)" | sort | uniq -c | sort -nr | head -20
• 重点关注这些特征串： ahrefsbot.*SEO、semrushbot.*site_audit、python-requests/2.3[1-9]、go-http-client/2.0、dotnetcurl、ltx71、masscan
• 注意伪装者： 有些爬虫 UA 写成 Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36，但 Referer 是 -，且路径集中在 /wp-login.php、/api/v1/user?id=、/admin/ 这类敏感地址——这类要结合 Referer + URI 双重识别

二、Apache 层精准拦截 UA（不伤搜索引擎）

在 httpd.conf 或虚拟主机配置中添加以下规则（推荐放在 <directory></directory> 块内）：

Apache Superset Dashboard and SQL Exploration Skill

Apache Superset 是一个广泛采用的开源 BI 平台，用于 SQL 探索、图表构建和仪表板交付。当代理需要查询仓库数据、组装仪表板或使用成熟的分析界面解释指标而不是临时笔记本代码时，此技能非常有用。

下载

• 用 SetEnvIfNoCase 标记恶意 UA，但明确放行主流蜘蛛：
  

  SetEnvIfNoCase User-Agent "(ahrefsbot|semrushbot|dotnetcurl|python-requests|go-http-client|ltx71|masscan|nikto|sqlmap)" BADBOT<br>SetEnvIfNoCase User-Agent "(Baiduspider|Googlebot|YandexBot|Bingbot|Sogou)" GOODBOT

• 允许 GOODBOT，拒绝 BADBOT：
  

  Order Allow,Deny<br>Allow from all<br>Deny from env=BADBOT<br>Allow from env=GOODBOT

• 补充一层防护：对空 Referer + 敏感路径组合做额外拦截（比如防止爆破）：
  

  SetEnvIfNoCase Referer "^-$" EMPTY_REFERER<br>SetEnvIf Request_URI "(wp-login\.php|xmlrpc\.php|/admin/|/api/v1/.*\?id=)" SENSITIVE_PATH<br>SetEnvIfExpr "env('EMPTY_REFERER') && env('SENSITIVE_PATH')" BAD_REQUEST<br>Deny from env=BAD_REQUEST

三、一键封禁 IP：Python 脚本自动分析 + 写入黑名单

写一个轻量脚本 ban_bot.py，每天定时运行（crontab），自动提取高频恶意 UA 对应的 IP 并封禁：

• 脚本核心逻辑：
  – 匹配日志中含 python-requests、ahrefsbot 等 UA 的行
  – 提取源 IP 和请求次数（按 IP 统计）
  – 过滤掉内网 IP 和已知 CDN（如 Cloudflare、阿里云 ESA 回源 IP 段）
  – 将超过阈值（如 300 次/小时）的 IP 写入 /etc/apache2/blocked_ips.conf
• Apache 配置中引入该文件：
  Include /etc/apache2/blocked_ips.conf
  内容示例：
  

  Require not ip 203.0.113.44<br>Require not ip 192.168.5.100/24

• 执行后热重载：
  sudo systemctl reload apache2（无需 full restart）

四、进阶：用 fail2ban 实现动态持久封禁

比手动脚本更稳，适合长期防护：

• 新建 filter：/etc/fail2ban/filter.d/apache-bad-ua.conf
  内容：
  

  [Definition]<br>failregex = ^<host>.*"(GET|POST).*HTTP.*"(python-requests|ahrefsbot|semrushbot|go-http-client).*"$<br>ignoreregex =</host>

• 在 jail.local 中启用：
  

  [apache-bad-ua]<br>enabled = true<br>filter = apache-bad-ua<br>logpath = /var/log/apache2/access.log<br>maxretry = 3<br>bantime = 86400<br>findtime = 3600

• 重启生效：
  sudo systemctl restart fail2ban