beautifulsoup会自动修正不闭合标签，因其默认解析器（如html.parser、lxml）是容错型html解析器，按浏览器逻辑补全结构，导致dom树与原始html不一致；若需保留原始标签写法，应绕过html解析器改用纯文本处理或正则提取。
为什么 BeautifulSoup 会自动修正不闭合的标签？
BeautifulSoup 默认使用 html.parser（Python 内置）或 lxml 解析器，它们本质是“容错型 HTML 解析器”，不是严格校验语法的工具。遇到 <p>hello</p>
<div>world 这类没闭合的标签，解析器会按浏览器渲染逻辑主动补全结构——比如把 <code><p></p> 自动闭合在 <div> 前，生成合法 DOM 树。这不是 bug，是设计使然。
<p>这意味着：你读到的 <code>soup 对象，结构已经和原始 HTML 不同；想还原原始片段、或做精准标签匹配（比如统计未闭合的 <br> 数量），直接用 BeautifulSoup(html, "html.parser") 就会失效。
如何保留原始标签写法不做自动修复？
唯一可行路径是绕过 HTML 解析器，改用纯文本方式处理。BeautifulSoup 本身不提供“禁用自动闭合”开关，但你可以：
- 用
open()或requests.get().text读取原始字符串，再用正则或字符串方法定位不规范标签（如<img> 后无 <code>>、<meta> 后多空格等） - 若仍需 DOM 查询能力，可尝试
BeautifulSoup(html, "html5lib")—— 它比html.parser更贴近浏览器行为，但依然会修正；它只是修正策略略有不同，不能禁用 - 对极少数必须保留原文的场景（如模板校验），直接用
re.findall(r"]*>", html)提取所有起始标签，再手动比对是否含/>或对应闭合标签
用 lxml 解析器时遇到 HTMLParserError 怎么办？
lxml 比 html.parser 更严格，遇到严重 malformed HTML（如嵌套错乱、属性值缺引号）可能抛出 lxml.etree.ParserError。此时不要强行换解析器，先做轻量预处理：
- 用
html.unescape()解码 HTML 实体，避免<被当作文本而非标签 - 用
re.sub(r")", r" 修复常见开头空格（如 <code>→<div>） <li>若原始 HTML 来自用户输入，建议前置清洗：用 <code>bleach.clean()或html5lib的parseFragment()先做安全化，再喂给BeautifulSoup
提取内容时发现文本错位，是不是闭合问题导致的？
是。典型表现：一段文字本该在 <span></span> 内，却出现在外层 <p></p> 结尾；或 <li> 里嵌了未闭合的 <div>，结果后续 <code><li> 全被吞进前一个 <div> 里。这时不能只看 <code>.text，要检查父节点链：
for tag in soup.find_all("span"):
print(tag.parent.name, "->", tag.get_text()[:20])
更可靠的方式是用 tag.find_parent("p") 显式向上找最近的语义容器，而不是依赖 tag.string —— 因为自动闭合后，DOM 层级已变，.string 可能返回 None 或意外截断。
真正麻烦的是混合了 CDATA、注释、JS 脚本的页面——这些区域里的 不是标签，但解析器无法区分。遇到这种，别硬塞给 BeautifulSoup，先用 <code>re.split(r"(<!--[\s\S]*?-->|<script>)", html)</script> 切开再分别处理。
