fake-useragent仅随机生成User-Agent字符串,不校验有效性、不更新、不处理Sec-Ch-Ua等配套头字段,也无法解决行为特征识别问题。

直接换 User-Agent 不顶用,光靠 fake-useragent 也救不了你——它只解决“随机生成”,不解决“被识别”和“被拦截”。
为什么 fake-useragent 本身不会防封
fake-useragent 的本质是读取一个本地 JSON 文件(useragents.json),从里面随机挑一条字符串返回。它不联网、不更新、不校验 UA 是否真实可用,更不处理请求头其他字段(比如 Accept-Language、Sec-Ch-Ua)是否匹配。
- 很多网站会检测
Sec-Ch-Ua、Sec-Ch-Ua-Mobile等 Chromium 新增的客户端提示头,而fake-useragent完全不提供这些 - 返回的 UA 可能早已过时(比如还返回 IE11),反而触发风控规则
- 高频调用同一个实例(如全局单例)会导致重复 UA,尤其配合
requests.Session()时更明显
必须补全的 3 类请求头才能绕过基础 UA 检测
现代反爬至少检查 UA + 浏览器指纹一致性。只设 User-Agent 是裸奔。
- 加
Accept:"text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8" - 加
Accept-Language:"zh-CN,zh;q=0.9,en;q=0.8"(别硬写 en-US,中文站优先 zh-CN) - 加
Sec-Ch-Ua和Sec-Ch-Ua-Mobile:例如'Sec-Ch-Ua: "Chromium";v="124", "Google Chrome";v="124", "Not-A.Brand";v="99"'和'Sec-Ch-Ua-Mobile: ?0'—— 这些必须和 UA 字符串里的浏览器版本严格对应
建议封装成函数,每次请求前生成完整 headers:
fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached
- 默认会尝试从多个在线源(如
https://www.useragentstring.com/)抓取最新 UA 列表,但国内常超时或被墙 - 解决办法:强制本地模式 + 提前缓存好可用 UA 列表
- 初始化时加参数:
ua = UserAgent(use_cache_server=False, verify_ssl=False, cache_path="ua.json") - 首次运行后,它会把抓到的数据存到
ua.json;后续直接读该文件,避免每次联网 - 如果仍失败,手动下载一份可靠 UA 列表(比如从
https://github.com/skroutz/user-agents),替换掉fake_useragent默认的 JSON 文件路径(位置可用ua.data_path查看)
比换 UA 更关键的是控制请求节奏和 session 行为
UA 动态化只是第一层。服务器真正盯的是行为特征:
- 别用全局
Session()长时间复用连接——每次请求换新requests.Session()实例,或至少调用session.headers.update(get_headers()) - 在请求间加
time.sleep(random.uniform(1.5, 4)),别用固定值 - 禁用自动重定向(
allow_redirects=False),防止被跳转到验证码页还不自知 - 对返回状态码做判断:
if r.status_code in (403, 429, 503)就暂停、换代理、清 cookies,而不是继续猛冲
UA 是门牌号,但敲门频率、敲门力度、有没有带礼品(cookies)、是不是同一人反复敲门——这些才决定你进不进得去。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!











