Python爬虫请求被拦截怎么办_设置随机User-Agent模拟浏览器-Python教程-PHP中文网

加User-Agent仍被封因设置太假：固定不变、格式老旧、缺少Accept等配套头，且部分站点依赖JS渲染、行为指纹等。应使用更新及时的UA池并补全请求头，配合Referer、Cookies、随机延迟和代理池。

python爬虫请求被拦截怎么办_设置随机user-agent模拟浏览器

为什么加了User-Agent还是被封？

很多同学以为只要写个 User-Agent 字符串就万事大吉，结果一跑就被 403 或直接断连。根本原因不是没设，而是设得太假：固定不变、格式老旧、和真实浏览器行为脱节。服务器一看这个 User-Agent 从不变化、又没带 Accept、Accept-Language 等配套头，立刻标记为爬虫。

固定值（比如一直用 Chrome 最新版）会被风控系统识别为脚本行为
只设 User-Agent 不设其他关键请求头，等于“穿西装不系扣子”
部分站点还会校验 Sec-Ch-Ua、Sec-Fetch-* 等 Chromium 新增头字段

怎么生成靠谱的随机User-Agent？

别手写列表，也别用过时的第三方库（比如老版本 fake-useragent 已停更且 IP 被大量滥用）。推荐两个轻量可控方案：

用 requests-html 自带的 user_agent 属性（需启动渲染上下文，稍重但真实）
更推荐：直接维护一份精简、更新及时的 UA 池，来源取自 whatismybrowser.com 的最新统计，只保留 Win/macOS + Chrome/Firefox/Safari 主流组合
每次请求前用 random.choice() 挑一个，再补全配套头：Accept、Accept-Language、Accept-Encoding

示例片段：

headers = {
    "User-Agent": random.choice(ua_pool),
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
    "Accept-Language": "en-US,en;q=0.5",
    "Accept-Encoding": "gzip, deflate",
    "Connection": "keep-alive",
    "Upgrade-Insecure-Requests": "1",
}