别用正则删HTML标签,应优先用html2text或BeautifulSoup;临时调试可用document.body.innerHTML.replace(/]*>/g, ""),但会崩结构、丢语义、漏注释。

直接说结论:别用正则删 HTML 标签,优先用 html2text 或 BeautifulSoup;临时调试可用 document.body.innerHTML.replace(/]*>/g, ""),但会崩结构、丢语义、漏注释。
为什么正则 /]*>/g 不安全?
它把 HTML 当成纯文本处理,而 HTML 允许属性值含 >(如 title="a > b")、注释含 -->、CDATA 含任意字符。结果就是:
- 误删:匹配到
"里的>,把整个属性截断 - 漏删:遇到
这类注释,正则直接跳过,标签原样留下 - 崩格式:删完只剩一长串连在一起的文本,标题/列表/换行全消失
html2text 批量转纯文本最稳
它是专为 HTML → plain text 设计的命令行工具,不依赖浏览器,能识别语义块(、、),自动过滤广告、导航栏、脚注等干扰内容。
Linux/macOS 下批量处理所有 .html 文件:
for f in *.html; do html2text -utf8 "$f" > "${f%.html}.txt"; done
关键参数说明:
-
-utf8:强制按 UTF-8 解码,防中文乱码(尤其源文件没声明charset) -
-ss:跳过 JS 渲染生成的广告、推荐位等干扰块 -
-b 2:设置列表缩进为 2 空格,提升可读性
若原始 HTML 是 GBK 编码,先用 iconv -f gbk -t utf-8 "$f" | html2text -utf8 转码再喂入。
开发者控制台临时清理用 innerText 更靠谱
比正则快、比 innerHTML.replace 安全:浏览器原生解析 DOM 后提取纯文本,自动忽略 script、style、注释,且保留基本换行和段落分隔。
在浏览器控制台执行:
console.log(document.body.innerText)
注意两点:
- 动态内容(如 React/Vue 渲染后的内容)可能还没加载完,需等
DOMContentLoaded或加延时 - 不会过滤侧边栏、页脚等干扰区块——如果目标是“干净正文”,得先用
document.querySelector('article')或类似选择器限定范围
Python 批量处理必须用 BeautifulSoup
正则和 innerText 都无法应对真实网页的嵌套、编码混杂、XHTML 闭合不全等问题。BeautifulSoup 内置容错解析器,能自动修复 malformed HTML,并支持精准提取。
示例:只取正文文本,跳过 、、:
from bs4 import BeautifulSoup
with open("page.html", encoding="utf-8") as f:
soup = BeautifulSoup(f, "html.parser")
for tag in soup(["nav", "footer", "aside", "script", "style"]):
tag.decompose()
print(soup.get_text())
重点:
- 用
decompose()而非extract(),前者彻底删除节点及其子树,后者还留着引用 - 编码必须显式指定,否则
open()在 Windows 上默认用cp1252,中文直接报错 - 别用
html.parser处理老旧网页,换成lxml或html5lib解析成功率更高
真正难的不是“删标签”,而是删完还剩什么——是否保留段落逻辑、是否过滤掉 Cookie 横幅、是否兼容 GBK 页面、是否处理了 JS 动态插入的内容。这些细节不提前确认,批量跑完才发现全是空行或乱码,重来成本远高于选对工具。
前端入门到VUE实战笔记:立即使用
在学习笔记中,你将探索 前端 的入门与实战技巧!











