ThinkPHP如何防止爬虫抓取_UserAgent识别与封禁【指南】-ThinkPHP-PHP中文网

thinkphp 6+ 应用 request()->header('user-agent') 安全获取 ua，禁用 $_server['http_user_agent']；须在中间件中用 stripos() 模糊匹配白名单（如 'chrome'、'micromessenger'），配置存于 app/extra/spider.php，空或异常 ua 需限流而非直接拦截。

thinkphp如何防止爬虫抓取_useragent识别与封禁【指南】

ThinkPHP 6+ 怎么安全地取 User-Agent

直接读 $_SERVER['HTTP_USER_AGENT'] 在 Swoole、FastCGI 或某些中间件生命周期下会拿不到值，甚至返回空或旧缓存。必须用框架封装好的接口：request()->header('user-agent')——它会统一处理大小写、空格归一化和 header 解析时机。

别在控制器里硬写 request()->header('user-agent') 后立刻判断，否则逻辑散落、无法复用、升级后易失效。正确位置是中间件的 handle() 方法。

若用 TP5.x，改用 input('server.HTTP_USER_AGENT')，但同样禁止塞进控制器
空 UA（''）或仅含空白符（如 "\t\n "）应视为高风险，立即记录并限流，不建议直接 halt()
注意：微信内置浏览器 UA 含 MicroMessenger，但它是合法移动端流量，不能进黑名单

为什么 stripos() 是唯一靠谱的匹配方式

用 == 或正则全量匹配 ^Mozilla/5.0.*Chrome/124.*$ 会导致大量误杀：同一款 Chrome 在 Windows/macOS/iPhone 上 UA 字符串完全不同；iOS 微信和安卓微信 UA 结构也不同。白名单项写得越细，维护成本越高、漏放越多。

stripos() 做子串模糊匹配，既保留灵活性，又避免过度宽松。比如白名单配 'Chrome'，就能同时放过 Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 Chrome/124.0.0.0 和 Mozilla/5.0 (iPhone; CPU iPhone OS 17_5 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) CriOS/124.0.6367.118 Mobile/15E148 Safari/604.1。

白名单配置建议放在 app/extra/spider.php，返回数组：return ['Chrome', 'Firefox', 'Mobile Safari', 'MicroMessenger', 'QQ'];
禁用数据库查白名单——每次请求多一次 DB 查询，首字节延迟直线上升
不要把 python-requests 这类字符串放进白名单，它们只该出现在日志告警或限流条件里

UA 合法但仍是爬虫？这时候该看什么

一个请求带着最新版 Chrome 的 UA，却没带 Cookie、Referer 为空、X-Requested-With 缺失、Sec-Fetch-* 头全无——这基本就是伪造 UA 的爬虫。ThinkPHP 的 think\facade\Request 不会验证 UA 真实性，它只是原样返回 header 值。

btpanel phpsite 宝塔面板PHP网站

宝塔面板 PHP 网站管理：站点创建、删除、启停、PHP 版本切换、域名管理、SSL证书管理、伪静态管理、数据库管理

下载

真正有效的辅助判断点有三个：

检查 request()->cookie('thinkphp_token') 是否存在且未过期——真用户有会话，多数爬虫连 Cookie jar 都懒得维护
比对 request()->header('referer') 是否来自你自己的域名（用 parse_url() 提取 host 后严格校验）
前端 JS 注入隐藏字段（如 _ts 时间戳 + 签名），服务端验证 request()->post('_ts') 与当前时间差是否在合理窗口内（比如 ±3s）

封禁动作不能只靠 UA 判断就执行

单纯因为 UA 不在白名单就返回 403，等于给攻击者画地图：他扫一遍就知道哪些字符串能绕过。更危险的是，把 UA 校验和 IP 封禁耦合在一起，会导致真实用户因 UA 变动（比如 iOS 升级后 Safari UA 微调）被误封数小时。

实际策略应分层响应：

UA 完全合法 → 放行，不干预
UA 异常（空、纯数字、含 python-requests）→ 记录日志 + 写入 Redis 限流桶（如 spider:ua:{ip}），5 分钟内超 10 次则临时封 IP
UA 合法但行为异常（无 Cookie、无 Referer、JS 字段缺失）→ 触发验证码，且验证码必须前置（登录页就加载，不是提交才弹）

最容易被忽略的一点：UA 白名单一旦写死，就变成攻击者的路标。它不该是“准入开关”，而应是“快速放行通道”。真正的防护水位，得落在行为分析和动态挑战上。