decompose() 更适合清理无关标签，因其直接从DOM树彻底删除节点及子节点，不残留引用；而extract()仅断开连接并返回对象，易导致内存泄漏或重复操作。

为什么 decompose() 比 extract() 更适合清理无关标签

清理 HTML 时，目标不是“保留什么”，而是“干掉什么”——比如广告 div、导航栏、页脚、script/style 标签。用 decompose() 直接从 DOM 树中彻底删除节点及其所有子节点，内存里不留痕迹；而 extract() 只是断开连接、返回节点对象，稍不注意就可能意外保留引用或重复操作。

• 常见错误：用 extract() 后没丢弃返回值，导致内存里还存着几百 KB 的无用 HTML 片段
• 使用场景：批量清洗新闻页正文前，先干掉
  、
  、
  、
  和所有 <script></script>/
• 性能影响：对大页面（>2MB），decompose() 比反复 extract() + del 快 15–20%，因为不构造新对象

用 select() 定位要删的标签比 find_all() 更稳

CSS 选择器在复杂嵌套结构里更可靠。比如删所有 class 包含 ad- 或 banner 的元素，写成 soup.select('[class*="ad-"], [class*="banner"]')，比用 find_all(class_=re.compile(r"ad-|banner")) 少一层正则解析开销，也避开了 class_ 参数对多 class 值（如 class="ad-main hidden"）匹配不准的问题。

• 容易踩的坑：用 find_all("div", class_="ad-box") 会漏掉
  ，因为 class_ 参数默认做全匹配，不是子串匹配
• 参数差异：select() 支持 [attr^="val"]（前缀）、[attr$="val"]（后缀）、:not(...)，比 find_all() 的 keyword 参数灵活得多
• 兼容性注意：BeautifulSoup 4.7.0+ 才完整支持 :has()，老版本别写 soup.select("article:has(> h1)") ，会静默失败

get_text() 的 strip 和 separator 参数决定正文可读性

清理完标签后，调 get_text() 不只是“转文本”，空格、换行、分隔符怎么处理，直接影响后续 NLP 或人工校验。默认行为会把

Hello

World


macOS UI 自动化技能包 —— 用 Python 控制你的 Mac
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
下载
拼成 "HelloWorld"，中间没空格——这显然不是想要的。
• 实操建议：一律显式传参，比如 elem.get_text(strip=True, separator=" ")，避免依赖默认行为
• 常见错误现象：正文段落粘连成一长串、列表项之间无换行、表格内容挤在同一行
• 性能提示：如果只要纯文字且不关心结构，用 get_text() 比遍历 .strings 手动拼接快 3–5 倍；但若需保留段落边界，就得用 .stripped_strings 配合 "\n".join()

别忘了 和内联 style 里的隐藏内容

有些站点把正文藏在 里（SEO 折衷），或用 style="display:none" / class="hidden" 控制显示，但这些节点默认不会被 decompose() 自动识别——你得主动查、主动删。

• 必须检查的点：soup.select("noscript, [style*='display:none'], [style*='visibility:hidden'], .hidden, [class*='hide']")
• 容易被忽略的细节：内联 style 是字符串，style="display: none !important" 里的空格和 !important 会让简单 in 判断失效，所以用 re.search(r"display\s*:\s*none", elem.get("style", "")) 更稳妥
• 风险提示：删 前先确认它里面没有真实内容；曾遇到某电商页把商品描述全塞进 ，删了就丢正文

真正麻烦的从来不是删多少，而是删得够不够干净——比如一个

里混着 3 层广告容器，你只删了最外层，里面两个还在。动手前先 print(len(soup.select(".ad, script, style"))) 看数量，删完再对一遍，比靠感觉靠谱。