requests.get() 返回乱码或空内容主因是编码识别错误，应优先用 response.content 配合 chardet 或 charset_normalizer 推测编码再解码；它无法获取 JS 渲染内容，需查源代码或抓取 API；须设 timeout、重试机制及正确 Cookie/Referer 等头信息。
requests.get() 返回空内容或乱码怎么办
不是请求失败，而是响应体没被正确解码。requests 默认用 response.encoding 解码，但很多网页的 Content-Type 没带 charset，或者 HTML meta 里声明的编码和实际不符，导致 response.text 出现乱码或截断。
实操建议：
- 优先用
response.content（bytes）配合chardet.detect()或charset_normalizer.from_bytes()推测编码，再手动 decode - 如果知道网页是 UTF-8，直接
response.content.decode('utf-8')，比response.text更可靠 - 遇到 GBK/GB2312 网页（尤其国内老站），别信
response.apparent_encoding，它常误判；改用response.content.decode('gbk', errors='ignore') - 设置
headers={'User-Agent': 'Mozilla/5.0...'}，否则有些网站返回 403 或空页面
为什么 requests.get() 抓不到 JavaScript 渲染的内容
requests 是纯 HTTP 客户端，不执行 JS、不解析 DOM、不维护会话上下文。它拿到的只是服务器返回的原始 HTML 字符串，所有通过 fetch、axios 或 Vue/React 动态插入的内容，它一概看不见。
实操建议：
- 先用浏览器「查看页面源代码」（Ctrl+U），确认目标数据是否在初始 HTML 里；如果只在「元素」面板里出现，说明是 JS 渲染的，
requests无能为力 - 检查 Network 面板，找 XHR/Fetch 请求，复制其 URL 和 headers，用
requests.get()直接请求那个接口（常返回 JSON） - 真需要渲染能力时，换
selenium或playwright，但代价是慢、重、易被反爬；requests永远只适合静态 HTML 或 API 抓取
超时、重试、连接错误这些基础问题怎么稳住
网络不稳定时，requests.get() 默认会卡死（无 timeout）、不重试、遇到 DNS 失败就抛 ConnectionError，线上脚本很容易崩。
实操建议：
- 必须加
timeout=(3, 7)：第一个数字是连接超时，第二个是读取超时；不要只写一个数字，否则可能卡在大文件下载上 - 用
urllib3.util.Retry配合requests.adapters.HTTPAdapter实现自动重试，重点重试ConnectTimeout和ReadTimeout，别盲目重试 404 或 500 - DNS 缓存问题常见于容器或云函数环境，可加
session.mount('http://', adapter)统一控制 - 别在循环里反复新建
Session，复用它才能复用连接池，否则并发高了直接触发Max retries exceeded
Cookie、登录态、Referer 这些头信息怎么传才不被拒
很多网站靠 Cookie、Referer、Origin 判断请求合法性。光有 User-Agent 不够，漏掉关键字段就会返回 302 跳登录页或 403。
实操建议：
- 登录后抓包，把浏览器发出的完整
Cookie字符串（如'sessionid=abc123; csrftoken=xyz789'）塞进headers={'Cookie': '...'}，别试图自己拼requests.Session().cookies.set() -
Referer必须和当前请求路径逻辑一致，比如从/list页面点进/detail/123，那请求 detail 时Referer就得是/list，否则某些风控直接拦截 - 敏感操作（如提交表单）要带上
X-CSRFToken或csrftokencookie 值，这个通常藏在 HTML 的里，得先 get 一次页面提取 - 用
Session对象自动管理 Cookie，但注意：跨域名不共享，且session.get()不会自动处理 302 带来的 Set-Cookie（除非显式设allow_redirects=True）
真正难的从来不是发个请求，而是看懂网站怎么防你——它在哪埋检测点、哪些 header 是硬性门槛、哪些字段会随时间/用户动态变化。这些细节不翻 Network 面板、不对比前后请求，光查文档没用。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
