beautifulsoup 4 能处理不规范 html，关键在于选用 lxml 或 html5lib 解析器替代默认 html.parser；需用 chardet 探测编码或显式指定 from_encoding；提取节点时应检查 none 或用 select_one、try/except 避免 attributeerror。
BeautifulSoup 4 能处理不规范 HTML，关键不在“能不能”，而在选对 parser —— 默认的 html.parser 对严重破损结构容易静默丢内容，得换更鲁棒的解析器。
为什么 html.parser 会漏掉标签或错乱嵌套？
Python 自带的 html.parser 是严格遵循 HTML5 规范的轻量解析器，遇到未闭合标签（如 <p>文本</p>
<div>嵌套）、自闭合错误（<code><img src="x"><br> 混用）或属性无引号（<div id="header">）时，会按规范“修复”而非保留原意，结果 DOM 树和原文档视觉表现不一致。
<p>实操建议：</p>
<ul>
<li>优先安装并使用 <code>lxml：pip install lxml，它默认启用 HTML 改写逻辑，能更好模拟浏览器容错行为
lxml（如某些受限环境），改用 html5lib：pip install html5lib，它最接近浏览器解析，但速度慢、内存高BeautifulSoup(html_str, 'lxml') 或 BeautifulSoup(html_str, 'html5lib')，别依赖默认遇到编码混乱或乱码怎么办？
不规范 HTML 常缺失 <meta charset> 或声明与实际编码不符，BeautifulSoup 可能自动猜错，导致中文变 或 b'\xe4\xbd\xa0' 形式。
python-docx Skill功能概述python-docx Skill是一项面向实际任务的技能，主要用于本Skill提供使用python-docx生成专业Word文档的标准方法和最佳实践；生成安全服务方案文档；核心要点生成技术架构设计文档；生成任何需要专业排版的Word文档；核心库 : python-docx；使用与执行辅助库 : docx.shared , docx.enum , docx.oxml.ns；标准代码模板；1. 文档初始化；2. 字体设置（必须！它将相关步骤、工具调用和结果整理方式集
实操建议：
- 读取原始 bytes 时，先用
chardet探测（chardet.detect(html_bytes)['encoding']），再 decode 成字符串传给BeautifulSoup - 更稳妥：直接把 bytes 传进去，让 BS 自己处理：
BeautifulSoup(html_bytes, 'lxml', from_encoding='utf-8')，强制指定源编码 - 如果页面混用多种编码（如 GBK 内容 + UTF-8 meta），优先以 HTTP 响应头
Content-Type中的 charset 为准，其次看<meta>，最后 fallback 到探测
如何安全提取可能不存在的节点而不报错？
破损 HTML 中常见标签缺失、层级错乱，.find() 返回 None，链式调用（如 soup.find('div').find('h1').get_text()）直接抛 AttributeError。
实操建议：
- 永远对中间结果做存在性检查：
title_tag = soup.find('h1'); text = title_tag.get_text() if title_tag else '' - 用
.select_one()替代.find()配合 CSS 选择器，语义更清晰；配合try/except AttributeError也比层层if更简洁 - 批量提取时，用列表推导式加
or提供默认值：[el.get_text(strip=True) for el in soup.select('p') or []]
真正难的不是解析本身，而是你没法预判哪段 HTML 会“坏”得最离谱——比如 JS 动态插入的标签、注释里藏了伪标签、甚至整个文档被截断。这时候靠 parser 不如靠日志：在 BeautifulSoup(...) 后立刻打印 len(soup.prettify()) 和原始长度对比，差太多就得回头检查输入源。
