HTML标题和正文文本怎么分开提取?结构化解析教程

阿辰姑娘_9835

阿辰姑娘_9835

2026-10-12

845人浏览

原创

应先用find()定位标题与正文容器,再用find_all()配合get_text(separator="\n", strip=true)分离内容;需提前decompose()干扰节点,动态内容须换selenium等工具解析。

html标题和正文文本怎么分开提取?结构化解析教程

用 find() 和 find_all() 分离标题与正文容器

标题和正文通常不在同一 DOM 层级,硬用 get_text() 一锅端会混在一起。必须先定位语义区域:标题大概率在 <h1></h1>~<h6></h6>、<title></title> 或带 headline/title 类的标签里;正文则多在 <main></main>、<article></article> 或含 content/post 的 <div> 中。 <p>实操建议:</p> <ul><li>别只查 <code>h1 —— 有些页面用 <div class="page-title"> 包标题,得配合 <code>class_=re.compile(r"title|headline")

  • 正文容器优先链式查找:soup.find("main") or soup.find("article") or soup.find("div", class_=re.compile(r"content|post|entry"))
  • 如果标题和正文共用一个父容器(如 <div class="wrapper">),先 <code>decompose() 掉导航、侧栏等干扰节点,再分别提取子节点

    用 get_text(separator="\n", strip=True) 控制输出格式

    分离后若直接调 .text 或 .string,会丢掉换行、合并段落,导致“标题正文挤成一行”。get_text() 是唯一能保留渲染顺序分隔逻辑的方法。

    关键点:

    • separator="\n" 让每个块级元素(<p></p>、<h2></h2>、<li>)之间插入换行,避免粘连
    • strip=True 去掉每个文本片段首尾空格/换行,否则可能得到 "\n 标题内容\n " 这种带缩进的脏数据
    • 不要用 separator=" " 处理中文——空格分隔会导致“第一段第二段”变成“第一段 第二段”,阅读时易误判为词组

    过滤干扰节点再提取,否则正文里混着广告脚本

    即使选对了 <main></main>,里面仍可能嵌着 <script></script>、<style></style>、<footer></footer>、<aside></aside>,它们的 get_text() 结果会污染正文输出(比如脚本里的注释、内联样式里的字符串)。

    Article To Html
    Article To Html

    文章转信息图。将文章/笔记转化为手机可读的 HTML 信息图,自动匹配视觉风格。触发场景:文章转图、笔记转图、信息图、转小红书图、做张图、可视化这篇文章、文生图。

    下载

    正确做法是提取前就清理:

    • 用 soup(["script", "style", "nav", "footer", "header", "aside"]) 批量选中
    • 对每个匹配到的 tag 调用 .decompose()(不是 .extract())——decompose() 彻底销毁节点,不占内存,也不留空文本节点
    • 图标类标签(如 <i class="icon-download"></i>)无文本内容,不影响 get_text(),不用额外处理

    动态内容或 JS 注入标题时,BeautifulSoup 本身无法解决

    如果标题是通过 JS 动态写入(如 document.title = "新标题" 或 innerHTML 插入),BeautifulSoup 解析原始 HTML 拿不到它。这时候 get_text() 再准也没用。

    应对方式只有两个:

    • 换 Selenium 或 Playwright 加载完整页面,再取 driver.title 和 driver.find_element(By.TAG_NAME, "main").text
    • 若只是补全 <title></title>,可先用 requests 拿 HTML,解析出 soup.title.string,再作为标题字段单独存,不参与正文拼接

    结构化解析真正的难点不在“怎么切”,而在“切之前是否看清了 DOM 真实状态”——JS 渲染、异步加载、服务端模板注入,都会让静态解析结果和用户看到的不一致。这点容易被忽略。

  • 前端入门到VUE实战笔记:立即使用
    在学习笔记中,你将探索 前端 的入门与实战技巧!

    相关文章

    HTML速学教程(入门课程)
    HTML速学教程(入门课程)

    HTML怎么学习?HTML怎么入门?HTML在哪学?HTML怎么学才快?不用担心,这里为大家提供了HTML速学教程(入门课程),有需要的小伙伴保存下载就能学习啦!

    下载

    相关标签:

    html提取文本 html

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

    相关专题

    更多
    html版权符号
    html版权符号

    html版权符号是“©”,可以在html源文件中直接输入或者从word中复制粘贴过来,php中文网还为大家带来html的相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

    2023.06.14

    5975

    7

    html在线编辑器
    html在线编辑器

    html在线编辑器是用于在线编辑的工具,编辑的内容是基于HTML的文档。它经常被应用于留言板留言、论坛发贴、Blog编写日志或等需要用户输入普通HTML的地方,是Web应用的常用模块之一。php中文网为大家带来了html在线编辑器的相关教程、以及相关文章等内容,供大家免费下载使用。

    2023.06.21

    3372

    4

    html网页制作
    html网页制作

    html网页制作是指使用超文本标记语言来设计和创建网页的过程,html是一种标记语言,它使用标记来描述文档结构和语义,并定义了网页中的各种元素和内容的呈现方式。本专题为大家提供html网页制作的相关的文章、下载、课程内容,供大家免费下载体验。

    2023.07.31

    3050

    5

    html空格
    html空格

    html空格是一种用于在网页中添加间隔和对齐文本的特殊字符,被用于在网页中插入额外的空间,以改变元素之间的排列和对齐方式。本专题为大家提供html空格的相关的文章、下载、课程内容,供大家免费下载体验。

    2023.08.01

    3059

    5

    html是什么
    html是什么

    HTML是一种标准标记语言,用于创建和呈现网页的结构和内容,是互联网发展的基石,为网页开发提供了丰富的功能和灵活性。本专题为大家提供html相关的各种文章、以及下载和课程。

    2023.08.11

    4839

    6

    html字体大小怎么设置
    html字体大小怎么设置

    在网页设计中,字体大小的选择是至关重要的。合理的字体大小不仅可以提升网页的可读性,还能够影响用户对网页整体布局的感知。php中文网将介绍一些常用的方法和技巧,帮助您在HTML中设置合适的字体大小。

    2023.08.11

    3001

    3

    html转txt
    html转txt

    html转txt的方法有使用文本编辑器、使用在线转换工具和使用Python编程。本专题为大家提供html转txt相关的文章、下载、课程内容,供大家免费下载体验。

    2023.08.31

    2809

    3

    html文本框代码怎么写
    html文本框代码怎么写

    html文本框代码:1、单行文本框【<input type="text" style="height:..;width:..;" />】;2、多行文本框【textarea style=";height:;"></textare】。

    2023.09.01

    2488

    6

    HTML嵌入CSS样式的方法
    HTML嵌入CSS样式的方法

    HTML嵌入CSS样式的方法有内联样式、内部样式表和外部样式表。本专题为大家提供CSS样式相关的文章、下载、课程内容,供大家免费下载体验。

    2023.09.20

    2548

    5

    热门下载

    更多
    网站特效
    /
    网站源码
    /
    网站素材
    /
    前端模板

    精品课程

    更多
    相关推荐
    /
    热门推荐
    /
    最新课程
    GDB 17.2 官方文档集合
    GDB 17.2 官方文档集合

    共0课时 | 0人学习

    Bootstrap 入门安装配置
    Bootstrap 入门安装配置

    共0课时 | 0人学习

    38+ PhpStorm 提示和技巧
    38+ PhpStorm 提示和技巧

    共1课时 | 223人学习