最可靠的是用 html2text 工具而非 BeautifulSoup 的 get_text(),因后者默认抹平段落、吞空格、忽略列表结构;html2text 默认保留标题层级、列表符号、空行和分隔线,且编码处理更稳健。

直接用 BeautifulSoup 的 get_text() 方法提取最可靠,但默认会抹平段落换行、吞掉空格、忽略列表结构——这不是 bug,是设计行为。真正要保留可读性,得手动控制分隔逻辑。
为什么 get_text() 保存的 TXT 看起来像“一坨”?
因为 get_text() 默认把所有文本节点连成一行,中间只用单个空格连接。它不区分 、 或 ,也不保留原始缩进和空行。
- 想让段落之间有空行:传参
separator="\n\n" - 想让列表项带短横或数字前缀:不能靠
get_text()自动处理,得先遍历/节点,再拼接 - 想保留链接文字但去掉 URL:需额外调用
find_all("a")替换为纯文本,否则get_text()会直接丢掉href但留下锚文本(这反而是对的)
用 html2text 命令行工具批量转 TXT 更省心
它专为“人眼可读的纯文本”设计,比写 Python 脚本快,且默认行为更合理:保留标题层级、把列表转成带符号的段落、自动折叠多余空白、识别 插入分隔线。
- 安装:
pip install html2text - 单文件转换:
html2text input.html > output.txt - 批量处理(Windows PowerShell):
Get-ChildItem *.html | ForEach-Object { html2text $_.FullName | Out-File "$($_.BaseName).txt" -Encoding UTF8 } - 关键参数:
-b 2表示保留最多 2 级标题缩进,--ignore-links可去掉所有链接文字(慎用,可能误删关键信息)
Python 脚本中避免编码乱码的硬性操作
HTML 文件常见编码是 UTF-8 或 GBK,但 open() 默认用系统编码读取,Windows 上极易报 UnicodeDecodeError。不能依赖“试试看”。
- 先用
chardet检测编码:chardet.detect(open("file.html", "rb").read())["encoding"] - 读取时强制指定编码:
with open("file.html", "r", encoding="utf-8", errors="ignore") as f: - 写入 TXT 时必须声明
encoding="utf-8",否则记事本打开大概率乱码 - 如果 HTML 中有
锛屼紭鍏堟寜璇ュ0鏄庤В鐮侊紝鍒
前端入门到VUE实战笔记:立即使用
在学习笔记中,你将探索 前端 的入门与实战技巧!











