如何使用HTML提取网页中的文本内容

梦宇君_8175

梦宇君_8175

2026-10-19

920人浏览

原创

soup.get_text()是最直接可靠的网页文本提取方式,需先用beautifulsoup解析html;它递归提取纯文本、跳过非内容标签,并支持separator、strip等参数控制格式。

如何使用html提取网页中的文本内容

soup.get_text() 是最直接、最可靠的方式,但前提是你要先用 BeautifulSoup 解析 HTML。别指望靠正则或 replace() 一把梭完事——标签嵌套、实体编码、JS 注入、空格换行混杂,一碰就翻车。

用 BeautifulSoup 解析后调用 get_text()

这是处理真实网页文本的默认路径,兼顾健壮性和可控性。

  • get_text() 会递归遍历所有子节点,提取纯文本,自动跳过 script、style 等非内容标签
  • 传参控制格式:separator="\n" 让段落间换行;strip=True 去首尾空白;separator=" " 用空格连接相邻块(适合摘要)
  • 别用 .text 或 .string 替代:.string 在含嵌套标签时直接返回 None;.text 行为和 get_text() 基本一致,但没参数可调
  • 如果 HTML 来自网络请求,记得先用 requests.get(url).text 获取源码,再喂给 BeautifulSoup;本地文件则用 open(...).read()

为什么不用正则直接删 <.></.>

因为这招在简单字符串里能跑通,一到真实网页就漏数据、吞文字、崩结构。

html-to-pptx-converter
html-to-pptx-converter

使用 PptxGenJS 和 Python 解析,将结构化的 HTML/CSS 幻灯片内容转换为原生、可编辑的 PowerPoint(.pptx)演示文稿。

下载
  • 匹配不了注释 <!-- ... -->、CDATA 段、自闭合标签里的属性值(比如 <img alt="文本"> 的 alt 不会被保留)
  • 遇到 <div>A<span>B</span>C</div>,正则可能把整个 <span>B</span> 当成干扰项干掉,只留下 A 和 C
  • HTML 实体如  、— 不会自动解码,输出里全是乱码符号
  • 真正需要它的地方其实很窄:比如从原始响应里粗筛出邮箱、URL 这类固定模式字段,而不是全文本提取

遇到 JS 渲染的内容怎么办

如果 response.text 里压根没有你要的文本,说明它由前端 JS 动态插入——BeautifulSoup 解析静态 HTML 拿不到。

  • 先确认:打开浏览器开发者工具 → “Elements” 面板看渲染后的 DOM,再切到 “Network” → 刷新页面 → 找 XHR/Fetch 请求,看数据是不是从 API 返回的 JSON
  • 如果是 JSON 嵌在 <script></script> 里(常见于 React/Vue SSR 页面),用 re.search(r'window\.__INITIAL_STATE__=(.*?);', html) 提取后 json.loads()
  • 如果必须执行 JS,就上 Selenium 或 Playwright;但开浏览器实例成本高,仅当 JSON 提取失败或需交互(如点击加载更多)时才用
  • 别试图让 BeautifulSoup “支持 JS”——它就是个解析器,不是浏览器

textContent 和 innerText 在浏览器里怎么用

这是前端场景下的快捷方案,适合调试或小批量手动提取,不适用于服务端或自动化流程。

  • 在浏览器控制台运行 document.body.textContent,能拿到渲染后所有文本(含 script 标签里的代码字面量)
  • innerText 会受 CSS display: none 或 visibility: hidden 影响,只返回“用户可见”的文本;textContent 不管样式,只管 DOM 树上的文本节点
  • 二者都不解码 HTML 实体:© 会原样输出,得额外调 DOMParser 或 textarea 中转解码
  • 注意:它们读的是当前 DOM 状态,如果页面 JS 后续又改了内容,结果会变;而 BeautifulSoup 处理的是初始 HTML 快照

真实网页的文本从来不是“删掉标签就行”。关键在于分清:你面对的是静态 HTML、服务端渲染的 JSON、还是纯客户端渲染——选错路径,后面所有清洗都是白忙。

前端入门到VUE实战笔记:立即使用
在学习笔记中,你将探索 前端 的入门与实战技巧!

相关文章

HTML速学教程(入门课程)
HTML速学教程(入门课程)

HTML怎么学习?HTML怎么入门?HTML在哪学?HTML怎么学才快?不用担心,这里为大家提供了HTML速学教程(入门课程),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

html提取文本 html

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
html版权符号
html版权符号

html版权符号是“©”,可以在html源文件中直接输入或者从word中复制粘贴过来,php中文网还为大家带来html的相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

2023.06.14

6275

7

html在线编辑器
html在线编辑器

html在线编辑器是用于在线编辑的工具,编辑的内容是基于HTML的文档。它经常被应用于留言板留言、论坛发贴、Blog编写日志或等需要用户输入普通HTML的地方,是Web应用的常用模块之一。php中文网为大家带来了html在线编辑器的相关教程、以及相关文章等内容,供大家免费下载使用。

2023.06.21

3512

4

html网页制作
html网页制作

html网页制作是指使用超文本标记语言来设计和创建网页的过程,html是一种标记语言,它使用标记来描述文档结构和语义,并定义了网页中的各种元素和内容的呈现方式。本专题为大家提供html网页制作的相关的文章、下载、课程内容,供大家免费下载体验。

2023.07.31

3190

5

html空格
html空格

html空格是一种用于在网页中添加间隔和对齐文本的特殊字符,被用于在网页中插入额外的空间,以改变元素之间的排列和对齐方式。本专题为大家提供html空格的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.01

3219

5

html是什么
html是什么

HTML是一种标准标记语言,用于创建和呈现网页的结构和内容,是互联网发展的基石,为网页开发提供了丰富的功能和灵活性。本专题为大家提供html相关的各种文章、以及下载和课程。

2023.08.11

4939

6

html字体大小怎么设置
html字体大小怎么设置

在网页设计中,字体大小的选择是至关重要的。合理的字体大小不仅可以提升网页的可读性,还能够影响用户对网页整体布局的感知。php中文网将介绍一些常用的方法和技巧,帮助您在HTML中设置合适的字体大小。

2023.08.11

3161

3

html转txt
html转txt

html转txt的方法有使用文本编辑器、使用在线转换工具和使用Python编程。本专题为大家提供html转txt相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.31

2969

3

html文本框代码怎么写
html文本框代码怎么写

html文本框代码:1、单行文本框【<input type="text" style="height:..;width:..;" />】;2、多行文本框【textarea style=";height:;"></textare】。

2023.09.01

2608

6

HTML嵌入CSS样式的方法
HTML嵌入CSS样式的方法

HTML嵌入CSS样式的方法有内联样式、内部样式表和外部样式表。本专题为大家提供CSS样式相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.20

2688

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
GDB 17.2 官方文档集合
GDB 17.2 官方文档集合

共0课时 | 0人学习

Bootstrap 入门安装配置
Bootstrap 入门安装配置

共0课时 | 0人学习

38+ PhpStorm 提示和技巧
38+ PhpStorm 提示和技巧

共1课时 | 224人学习