w3lib.html不适合清洗广告HTML标签，仅支持基础标签移除（如remove_tags）而不具备选择器过滤能力；真正清理广告需用BeautifulSoup或lxml，通过select()精准定位并decompose()彻底删除无关结构块。

w3lib.html 不适合清洗广告 HTML 标签——它压根不提供标签移除能力，只做基础转义、解码和简单清理（如 remove_tags() 仅删标签、不删内容，也不支持选择器过滤）。

真正要干掉广告、导航、页脚这类结构化无关块，得用 BeautifulSoup 或 lxml，而不是寄希望于 w3lib.html。

---

BeautifulSoup.select() 定位广告区域比正则可靠得多

常见错误是写 re.sub(r'

]class="ad.?">.*?', '', html)：

• 遇到嵌套（
  xxx
  ）直接漏匹配
• 多 class 值（class="ad-banner hidden"）时全匹配失败
• 属性顺序一变（class="xxx" id="ad-1"）就失效

用 soup.select() 就稳：

• soup.select('[class="ad-"], [class="banner"], header, nav, footer, script, style')
• 支持 [attr^="val"]（前缀）、:not(.main)（排除主内容区）
• BeautifulSoup 4.7.0+ 还能写 soup.select('article:has(> h1)') 锁定正文容器

别省那点导入成本——选错工具，后面每页都得人工校验。

---

decompose() 比 extract() 更干净地干掉广告节点

目标不是“取出来再丢”，而是“彻底从 DOM 树里抹掉”：

• node.decompose()：节点及其所有子节点（含 script 里的 JS 字符串）全删，内存不留引用
• node.extract()：只是断开连接并返回节点对象，若没显式丢弃（比如没接 del 或赋值给 _），几百 KB 广告 HTML 就堆在内存里

批量清理时性能也明显：对 >2MB 页面，decompose() 比反复 extract() + del 快 15–20%，因为不构造新对象。

典型用法：

Python Hardener

通过完整的安全审查、代码整洁重构、健壮的错误处理、正确的日志记录以及完整的文档字符串覆盖，强化 Python 脚本。

下载

for tag in soup.select('[class*="ad-"], .banner-ad, #sidebar-ad'):
    tag.decompose()

---

get_text() 的 strip 和 separator 参数决定清洗结果是否可用

很多人调完 decompose() 就直接 soup.get_text()，结果段落粘连、空行消失、列表变一行。

关键参数：

• strip=True（默认）会砍掉每段首尾空白，但不会合并段间空行
• separator='\n' 才能让每个
  或
  后换行
• 若需保留原文档结构感，用 soup.get_text(separator='\n', strip=True).replace('\n\n', '\n') 控制空行密度

别跳过这步——NLP 入模或人工抽检时，一眼就能看出是不是“洗脱了形”。

真实清洗链必须是：
decompose() 干掉广告块 → get_text() 控制换行与分隔 → 正则收尾（如统一空白、去零宽字符）

中间少一环，后面全得返工。

Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！