怎么在Python中利用Requests库模拟表单提交及爬虫-linux运维-PHP中文网

Requests提交表单时应严格区分data和json参数：data用于application/x-www-form-urlencoded格式，json自动序列化为JSON并设对应Content-Type；普通表单一律用data={...}，含文件则用files={...}，不可与json混用。

怎么在python中利用requests库模拟表单提交及爬虫

Requests提交表单时，data和json参数别混用

表单提交本质是构造HTTP请求体，但 requests.post() 的 data 和 json 参数行为完全不同：前者发送 application/x-www-form-urlencoded（标准表单格式），后者自动序列化为JSON并设 Content-Type: application/json。多数网页登录/搜索表单走前者，用 json=... 会导致后端收不到字段。

实操建议：

先用浏览器开发者工具（Network → Form Data）确认提交的键值对和编码方式
普通表单一律用 data={...}，例如 data={"username": "a", "password": "b"}
若表单含文件上传，必须用 files={...}，且不能和 json 同时出现
中文字段注意是否需手动 urllib.parse.quote() —— 通常 requests 会自动处理，但某些老旧后端要求 UTF-8 编码后拼接

带Cookie和Referer的请求常被反爬拦截

很多网站校验 Referer 头防止站外提交，或依赖前置登录产生的 Cookie 维持会话。直接调用 requests.post() 默认无状态，相当于“新访客”，必然失败。

实操建议：

用 requests.Session() 复用连接和 Cookie，先 get() 登录页获取隐藏字段（如 csrf_token）和初始 Cookie
把登录页响应中的 Set-Cookie 自动带入后续请求，无需手动提取 —— Session 会自动管理
显式设置 headers={"Referer": "https://example.com/login"}，值必须与上一步 GET 的URL一致
检查响应状态码是否为 200 且内容含“登录成功”字样，而非跳转到首页或错误页 —— 有些站点失败时也返回 200

验证码、CSRF Token、JavaScript渲染字段必须动态提取

纯静态 data 字典无法应付每次提交都变化的字段。比如 csrf_token 通常藏在HTML的中；验证码图片需OCR或人工输入；而某些按钮文本由JS动态生成，requests拿不到。

实操建议：

用 BeautifulSoup 或正则从登录页HTML中提取 csrf_token：soup.find("input", {"name": "csrf_token"})["value"]
遇到验证码，优先查目标站是否有API接口（如 /captcha/image?r=123），再考虑 pytesseract 或打码平台
若关键字段由JS计算生成（如密码MD5加盐），得用 execjs 或 PyExecJS 执行对应JS逻辑，requests本身不执行脚本
不要硬编码Token值——哪怕测试时能用，上线必挂

超时、重试、User-Agent缺失导致请求被静默丢弃

不少服务器对无 User-Agent、无超时设置、无重试机制的请求直接拒绝或限速，现象是连接卡住、返回空内容、或 ConnectionError，而非明确报错。

实操建议：

强制设置 timeout=(3, 7)（连接3秒，读取7秒），避免单个请求阻塞整个爬虫
用 urllib3.util.retry.Retry 配合 requests.adapters.HTTPAdapter 添加重试逻辑，重点重试 429（Too Many Requests）和网络错误
User-Agent 必须模拟真实浏览器，例如 "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"，且定期轮换
别忽略 response.encoding —— 某些站点返回UTF-8内容但声明为ISO-8859-1，需手动设 response.encoding = "utf-8" 再取 .text