加user-agent仍被403因网站校验多字段,需配套accept、accept-language、referer等,且headers应复用真实请求、用session管理并避免过度模拟。

为什么加 User-Agent 还是被 403?
很多网站会校验请求头中多个字段,单设 User-Agent 只是基础动作。真正拦你的,往往是缺失 Accept、Accept-Language、Sec-Fetch-* 等现代浏览器必带的 header,或者 Referer 不匹配目标页面来源。
实操建议:
- 用 Chrome DevTools 的 Network 面板抓一个真实访问的请求,右键 → “Copy as cURL”,再用在线工具(如 curlconverter.com)转成 Python
requests代码,直接复用整套 headers - 避免硬编码固定值;不同 UA 对应的
Accept-Encoding和Sec-Ch-Ua要配套,否则反而暴露脚本特征 - 别在所有请求里塞同一套 headers——登录后跳转页可能需要携带
Cookie,而首页不需要,混用容易触发风控
requests.get() 的 headers 参数怎么传才不踩坑?
传错类型或覆盖默认行为是常见问题。requests 默认自带一组 minimal headers(比如 User-Agent: python-requests/2.x),你传的 headers 字典会**完全覆盖**它,不是合并。
实操建议:
- 先调用
requests.utils.default_headers()拿默认字典,再用.update()增补自定义字段,保留底层基础项 - header 键名必须是字符串,且大小写不敏感但建议首字母大写(如
Accept而非accept),某些 CDN 会校验格式 - 值里不要含换行或控制字符;中文需用 UTF-8 编码后 URL encode(比如
Referer含中文路径时)
哪些 header 最容易引发反爬识别?
不是字段越全越好。过度模拟反而可疑:比如同时带 Sec-Fetch-Site: same-origin 和 Referer: https://google.com 就逻辑矛盾;又比如 Sec-Ch-Ua-Mobile: ?0 却没带 Sec-Ch-Ua-Platform,浏览器根本不会这样发请求。
实操建议:
- 优先保
User-Agent、Accept、Accept-Language、Referer四个字段,覆盖 90% 基础检测 - 谨慎使用
Sec-Fetch-*和Sec-Ch-Ua-*;除非你明确知道目标站依赖它们,否则删掉更安全 - 如果目标站用 Cloudflare 或 Imperva,光靠 headers 不够,得配合 session 复用、延迟、甚至 JS 渲染,headers 只是第一道门
用 Session 管理 headers 比每次传字典强在哪?
单次请求设 headers 是静态的,但真实用户会带着 cookie 跳转、保持 TLS 会话、复用 TCP 连接。requests 的 Session 对象能自动处理这些,而且 headers 设置一次就全局生效,避免漏写或不一致。
实操建议:
- 初始化
session = requests.Session()后,立刻用session.headers.update({...})设好基础头,后续所有session.get()/session.post()都继承它 - 登录成功后,
session.cookies自动保存,下个请求不用手动提 cookie 字符串;但要注意有些站点会校验 cookie 的Domain和Path,跨子域要提前配置session.cookies.set(...) - 别在多线程里共用一个 session 实例——cookie 和连接池会冲突;每个线程应有自己的 session
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!











