python中htmlparser解析html

大强小哥_7172

大强小哥_7172

2025-10-03

343人浏览

原创

Python内置html.parser模块的HTMLParser类可用于解析HTML。通过继承该类并重写handle_starttag、handle_endtag、handle_data等方法,可提取标签、属性和文本内容。例如LinkExtractor类可提取超链接地址与锚文本。适用于结构良好的HTML片段,但不修复 malformed HTML,无CSS选择器支持,适合轻量级任务。

python中htmlparser解析html

Python 中可以使用 html.parser 模块中的 HTMLParser 类来解析 HTML 内容。它是一个内置的轻量级解析器,适合处理简单的 HTML 结构,无需安装第三方库。

基本用法:继承 HTMLParser 类

你需要自定义一个类,继承 HTMLParser,并重写特定的方法来捕获标签、数据和属性。

示例代码:

from html.parser import HTMLParser
<p>class MyHTMLParser(HTMLParser):
def handle_starttag(self, tag, attrs):
print(f"开始标签: {tag}, 属性: {attrs}")</p><pre class="brush:php;toolbar:false;">def handle_endtag(self, tag):
    print(f"结束标签: {tag}")

def handle_data(self, data):
    if data.strip():  # 忽略空白字符
        print(f"文本内容: {data}")

使用示例

html_content = """

这是一个段落。

https://example.com">链接>
"""

parser = MyHTMLParser() parser.feed(html_content)

常用处理方法说明

以下是几个关键的回调方法,用于提取不同部分的信息:

  • handle_starttag(tag, attrs):当遇到开始标签时调用,tag 是标签名,attrs 是 (name, value) 元组组成的列表。
  • handle_endtag(tag):当遇到结束标签时调用。
  • handle_data(data):处理标签之间的文本内容。
  • handle_comment(data):处理 HTML 注释(可选重写)。

提取特定信息:比如所有链接

如果你想提取页面中所有的超链接和地址,可以这样写:

Biopython
Biopython

全面的分子生物学工具集。适用于序列操作、文件解析(FASTA/GenBank/PDB)、系统发育分析,以及通过 Bio.Entrez 以编程方式访问 NCBI/

下载

class LinkExtractor(HTMLParser):
    def __init__(self):
        super().__init__()
        self.links = []
<pre class="brush:php;toolbar:false;">def handle_starttag(self, tag, attrs):
    if tag == 'a':
        attrs_dict = dict(attrs)
        href = attrs_dict.get('href')
        text = ""  # 初始化
        self.current_href = href
        self.capture_text = True
    else:
        self.capture_text = False

def handle_data(self, data):
    if self.capture_text:
        self.links.append((self.current_href, data.strip()))

示例使用

parser = LinkExtractor() parser.feed('https://www.php.cn/link/c7c8c6f06ba0b5edd19e56048a7c4ec1">Google>') print(parser.links) # 输出: [('https://www.php.cn/link/c7c8c6f06ba0b5edd19e56048a7c4ec1', 'Google')]

注意事项与局限性

虽然 HTMLParser 足够简单场景使用,但有几点需要注意:

  • 不自动修复 malformed HTML(如未闭合标签),可能解析出错。
  • 相比 BeautifulSoup 或 lxml,功能较弱,没有 CSS 选择器支持。
  • 适用于结构清晰、格式良好的 HTML 片段。

对于复杂网页抓取任务,建议结合 requests + BeautifulSoup;但如果只是轻量解析且不想引入外部依赖,HTMLParser 是个不错的选择。

基本上就这些,掌握这几个核心方法就能应对大多数基础解析需求了。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关文章

python速学教程(入门到精通)
python速学教程(入门到精通)

python怎么学习?python怎么入门?python在哪学?python怎么学才快?不用担心,这里为大家提供了python速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
Python爬虫获取数据的方法
Python爬虫获取数据的方法

Python爬虫可以通过请求库发送HTTP请求、解析库解析HTML、正则表达式提取数据,或使用数据抓取框架来获取数据。更多关于Python爬虫相关知识。详情阅读本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.13

713

12

python中print函数的用法
python中print函数的用法

python中print函数的语法是“print(value1, value2, ..., sep=' ', end='\n', file=sys.stdout, flush=False)”。本专题为大家提供print相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.27

3560

5

python print用法与作用
python print用法与作用

本专题整合了python print的用法、作用、函数功能相关内容,阅读专题下面的文章了解更多详细教程。

2026.02.03

269

24

class在c语言中的意思
class在c语言中的意思

在C语言中,"class" 是一个关键字,用于定义一个类。想了解更多class的相关内容,可以阅读本专题下面的文章。

2024.01.03

4736

7

python中class的含义
python中class的含义

本专题整合了python中class的相关内容,阅读专题下面的文章了解更多详细内容。

2025.12.06

326

9

http与https有哪些区别
http与https有哪些区别

http与https的区别:1、协议安全性;2、连接方式;3、证书管理;4、连接状态;5、端口号;6、资源消耗;7、兼容性。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.08.16

5630

6

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

2026.11.12

140

15

Go-Zero安装与goctl环境配置教程
Go-Zero安装与goctl环境配置教程

本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。

2026.11.12

100

15

Go-Zero零基础入门教程
Go-Zero零基础入门教程

本专题整理Go-Zero的入门知识,从框架定位、环境准备到跑通第一个API服务,讲清目录分层、配置加载、日志与中间件的基本用法,并对比Gin、Kratos的差异,帮助Go开发者建立整体认知,判断它是否适合当前项目。

2026.11.12

100

15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程