Python爬虫怎么模拟浏览器_Requests添加User-Agent等Headers请求头参数-Python教程-PHP中文网

Requests需手动设置真实User-Agent（如Chrome最新版标识）并搭配Accept、Accept-Language及Sec-Ch-Ua等头部，配合Session复用连接与Cookie，才能有效模拟浏览器行为，避免403/406等反爬拦截。

python爬虫怎么模拟浏览器_requests添加user-agent等headers请求头参数

网站看到 requests 默认发出的请求，User-Agent 是 python-requests/2.xx.x，基本等于举手说“我是爬虫”，很多站点会直接返回 403 或空内容。必须手动覆盖这个字段，而且得选一个真实、常见、不过时的浏览器标识。

别用网上随便搜的老旧 UA（比如 IE6 或 Chrome 60），部分 CDN（如 Cloudflare）会校验 UA 的合理性，过老的可能被拦截
推荐从最新版 Chrome 或 Edge 的 DevTools → Network → 任意请求 → Headers → Request Headers 中复制 User-Agent 值，粘贴进代码
写死一个 UA 可以，但长期运行建议轮换几个主流 UA，避免被行为分析盯上；简单场景用一个够用
示例：headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36"}

光加 User-Agent 经常还不够。有些网站会检查 Accept、Accept-Language 甚至 Sec-Ch-Ua 这类 Chromium 特有头，缺了就返回 406 或跳验证码。

Accept 和 Accept-Language 必带，值参考真实浏览器：例如 "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"，"Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8"
如果目标站用的是较新 Chromium 内核（比如新版淘宝、知乎），Sec-Ch-Ua、Sec-Ch-Ua-Mobile、Sec-Ch-Ua-Platform 也得同步填上，否则可能被当成低可信度客户端
不要硬编码 Cookie 头——除非你真需要维持登录态；乱加无效 Cookie 反而容易触发风控
示例完整 headers：{"User-Agent": "...", "Accept": "...", "Accept-Language": "...", "Sec-Ch-Ua": '"Chromium";v="125", "Not.A/Brand";v="24"', "Sec-Ch-Ua-Mobile": "?0", "Sec-Ch-Ua-Platform": '"Windows"'}

单次调用 requests.get() 每次都是全新 TCP 连接，没有 Cookie 上下文、没有连接复用，网站很容易识别为“非浏览行为”。用 requests.Session() 能自动管理 Cookie、复用连接、保持 headers 一致，更像真实用户连续点击。

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限

下载

Session 会自动保存服务器 Set-Cookie，后续请求自动带上，对需要登录或 CSRF Token 的页面很关键
复用底层连接（keep-alive），减少握手开销，也降低被限速的概率
设置一次 headers，整个 session 都生效：s = requests.Session(); s.headers.update(headers)，不用每个请求都传
注意：Session 不是万能的，有些网站会校验 Referer 或请求间隔，光靠 Session 无法绕过

加了 headers 还返回空页、重定向到验证码页、或者状态码是 403/406/503，不是代码写错了，而是模拟不到位或触发了反爬机制。

先用浏览器打开目标 URL，再用开发者工具对比 Network 里真实请求的全部 headers（尤其是 Referer、Sec-Fetch-* 系列），缺哪个补哪个
检查响应内容是否含 "window.location" 或 "__cf_chl_rt_tk" —— 这代表被 Cloudflare 拦了，Requests 本身无法执行 JS 跳转或算挑战，得换方案（如 Playwright）
用 response.status_code 和 response.headers.get("content-type") 确认是不是真的拿到 HTML；有时候返回的是 JSON 或图片，但文件名看着像 HTML
临时把 headers 里的 User-Agent 换成你本机浏览器的，curl 测试一下：curl -H "User-Agent: ..." https://example.com，快速验证 UA 是否有效