默认 html.parser 因严格遵循标准而无法容错解析不规范 html，易导致节点丢失或静默截断；应改用 lxml（快且轻量）或 html5lib（兼容性最佳但慢），并辅以预清洗和解析后验证。
为什么默认的html.parser会解析失败
BeautifulSoup 默认用 html.parser，它对标签闭合、嵌套错乱、自闭合标签（如 <img> 写成 <img>）非常敏感。遇到不规范 HTML，常出现节点丢失、文本错位、甚至抛出 HTMLParseError（旧版）或静默截断。这不是代码写错了，是解析器本身设计上偏向“符合标准”的输入。
换用 lxml 或 html5lib 解析器
lxml 和 html5lib 都更贴近浏览器行为，能容错处理常见坏 HTML：省略结束标签、错位闭合、属性无引号、未声明 DOCTYPE 等。实际选哪个看需求：
-
lxml速度快、内存占用低，但需系统安装libxml2；Windows 用户常遇到编译失败，可直接pip install lxml（多数预编译 wheel 已包含） -
html5lib兼容性最接近 Chrome/Firefox，对<table> 内部错乱（如 <code><tr> 直接在 <code><div> 里）处理得更好，但慢且内存高；安装只需 <code>pip install html5lib初始化时显式指定解析器：
from bs4 import BeautifulSoup soup = BeautifulSoup(bad_html, 'lxml') # 或 'html5lib'
手动修复常见结构问题再解析
有些 HTML 坏得离谱（比如混着 JS 字符串、
<script></script>里有未转义），连html5lib都会提前截断。这时得先做轻量清洗：- 用正则粗略剥离
<script>.*?</script>和<style>.*?</style>（注意非贪婪和多行标志re.DOTALL） - 把孤立的
<br>、<hr>、<img>补全为自闭合格式（<br>），避免html.parser把后续内容吞进<br>标签内 - 对明显缺失闭合的
<div> 或 <code><p></p>，不要硬补——容易嵌套错乱；优先依赖lxml的自动修复能力解析后验证关键节点是否存在
容错解析不等于结果可靠。必须检查目标元素是否真被加载进来：
- 用
soup.find('table')后立刻判断if table is None:，而不是直接链式调用table.find_all('tr')导致AttributeError - 对预期为单个的容器（如
<div class="content">），用 <code>soup.select_one('.content')而非select()，避免误取到页脚同名 div - 若原始 HTML 有编码问题（如 GBK 混入 UTF-8），
BeautifulSoup可能解码失败导致str变成乱码字节；传入时显式指定from_encoding='gbk'参数
不规范 HTML 的解析难点不在“怎么写几行代码”，而在“哪一步出错了你根本看不出”——比如
lxml默默把一个<span></span>提升到了父<td> 外，表面没报错，数据却偏移了两列。</td> - 用
- 用正则粗略剥离
