Requests返回空或403是因反爬识别默认User-Agent，需加headers模拟浏览器；JS渲染内容需换Selenium；乱码要手动设encoding或用content+from_encoding；字段缺失应逐容器提取并判空。
Requests发请求老是返回空内容或403
不是代码写错了，大概率是网站反爬把你当机器人拦了。Requests默认的User-Agent是python-requests/2.xx，一眼就被识别出来。
实操建议：
- 加
headers参数，模拟真实浏览器，比如：{"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"} - 部分网站还校验
Referer或Accept，抓包看浏览器实际发了啥，照着补上 - 别一上来就循环请求，加
time.sleep(1)，否则IP可能被临时封 - 遇到
403但 headers 没问题？试试开代理或换session对象复用连接
BeautifulSoup解析时find()总返回None
不是标签名写错，就是 HTML 结构和你预期的根本不一样——网页用 JS 渲染的，Requests 拿到的是初始 HTML，没等 JS 执行，关键数据压根不存在。
实操建议：
- 先用
print(response.text[:500])确认响应体里真有你要的文本；没有？说明是 JS 渲染，得换Selenium或Playwright - 检查是否用了错误的解析器：
BeautifulSoup(html, "html.parser")最稳；"lxml"快但会自动修正结构，可能改歪了标签层级 -
find("div", class_="item")要写成find("div", class_="item")，不是class="item"——class是 Python 关键字，必须加下划线 - 嵌套太深？别一层层
.find().find().find()，用select()写 CSS 选择器更可靠，比如soup.select("article .title a")
中文乱码、特殊字符变或空格
Requests 默认按 HTTP 头里的charset解码，但很多网站头没写、写错了，或者自己用 UTF-8 存但声明成 gbk，结果全乱。
macOS UI 自动化技能包 —— 用 Python 控制你的 Mac
下载
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
实操建议：
- 别依赖
response.text，先看response.encoding是什么，不对就手动改：response.encoding = "utf-8" - 更稳妥：用
response.content（bytes）直接喂给 BeautifulSoup：BeautifulSoup(response.content, "html.parser", from_encoding="utf-8") - 如果页面混用编码（比如 meta 声明 UTF-8，但某段 JS 里藏了 GBK 编码的字符串），优先以
chardet.detect(response.content)["encoding"]探测结果为准
提取的数据字段缺失或顺序错乱
常见于列表页有多条记录，但每条结构不一致——有的缺图片、有的没价格、有的标题带广告标记。用统一逻辑硬套，必然漏或错位。
实操建议：
- 别用
find_all()[i]按索引取值，改用“每条记录单独找容器”，比如先for item in soup.select(".product-item"):，再在item里分别find("h3")、find("span.price") - 字段可能为空？所有
find()结果都要判if elem: ... else: None，别直接调.text - 时间、价格这类字段常带空格或单位，用
.get_text(strip=True)比.text更干净；数字类后续用re.sub(r"[^\d.]", "", s)清理再转float
有些网站结构看着简单，但 DOM 是 JS 动态插入的，或者字段藏在 JSON script 标签里——这时候死磕 BeautifulSoup 不如直接正则或json.loads()提 script 内容。别在解析方式上硬扛，先看清数据真正从哪来。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
