Python Beautiful Soup解析XML 使用BS4提取XML标签数据

陌墨姑娘_1472

陌墨姑娘_1472

2026-03-17

337人浏览

原创

必须指定 features="lxml-xml" 解析 xml,否则静默降级为 html 解析,导致自闭合标签展开、命名空间丢失、大小写被强制转换;带命名空间需用 namespace 参数传字典,标签名大小写敏感。

python beautiful soup解析xml 使用bs4提取xml标签数据

用 BeautifulSoup 解析 XML 必须指定解析器,否则会静默降级为 HTML 解析

默认不传 features 参数时,BeautifulSoup 会按 HTML 规则解析 XML,导致自闭合标签(如 <item></item>)被错误展开、命名空间丢失、属性大小写被强制转小写。这不是报错,是“看起来能跑,结果不对”。

  • 必须显式传 features="xml" 或 features="lxml-xml"(推荐后者,依赖 lxml)
  • 如果只装了 beautifulsoup4 没装 lxml,features="xml" 会 fallback 到内置 html.parser,依然出错——得先 pip install lxml
  • features="lxml" ≠ features="lxml-xml":前者仍是 HTML 模式,后者才是真 XML 模式

find() 和 find_all() 在 XML 中对标签名大小写敏感

XML 区分大小写,<item></item> 和 <item></item> 是两个不同标签。而默认 HTML 解析器会把所有标签转成小写再匹配,造成“明明写了 find("Item") 却找不到”。

  • 确保标签名拼写、大小写与原始 XML 完全一致
  • 用 find_all(True) 可列出所有顶层标签名,快速核对实际命名(比如发现其实是 <catalogitem></catalogitem> 而非 <item></item>)
  • 若需忽略大小写,改用正则:soup.find_all(re.compile(r"^item$", re.I)),但会损失性能,且不推荐用于结构明确的 XML

带命名空间的 XML 标签必须用字典传入 find() 的 namespace 参数

像 <rss xmlns="http://purl.org/rss/1.0/"></rss> 这种声明后,<channel></channel> 实际属于该命名空间,直接 find("channel") 找不到。

  • 不能用 "{http://purl.org/rss/1.0/}channel" 这种字符串硬写——BS4 不支持这种前缀语法
  • 正确做法:定义命名空间字典,如 ns = {"rss": "http://purl.org/rss/1.0/"},再调用 soup.find("channel", namespace=ns)
  • 如果根节点有默认命名空间(无前缀),需用 ns = {"": "http://purl.org/rss/1.0/"},空字符串键表示默认 ns
  • 省略 namespace 参数 = 完全不匹配任何带 ns 的标签,不是“忽略 ns”

提取文本内容时,.text 会合并所有子文本并抹掉换行缩进,.get_text() 更可控

XML 常含格式化空白(如换行、缩进),.text 把它们全压成单个空格,可能破坏地址、诗歌、代码片段等语义。

  • .get_text(strip=True) 默认行为同 .text;加 strip=False 可保留原始换行
  • 需要清理多余空白但保留段落结构?用 .get_text(separator="\n", strip=True)
  • 若标签内混有注释或 CDATA,.text 会跳过它们,.get_text() 同样跳过——BS4 不解析 CDATA 内容,得手动取 .contents 并过滤 Comment 类型
解析 XML 最容易卡在“没报错但数据为空”,核心就两点:解析器选错、命名空间漏处理。只要 features 写对、namespace 传对,剩下的就是标签名和文本提取的细节问题。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
Python爬虫获取数据的方法
Python爬虫获取数据的方法

Python爬虫可以通过请求库发送HTTP请求、解析库解析HTML、正则表达式提取数据,或使用数据抓取框架来获取数据。更多关于Python爬虫相关知识。详情阅读本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.13

673

12

pip安装使用方法
pip安装使用方法

安装步骤:1、确保Python已经正确安装在您的计算机上;2、下载“get-pip.py”脚本;3、按下Win + R键,然后输入cmd并按下Enter键来打开命令行窗口;4、在命令行窗口中,使用cd命令切换到“get-pip.py”所在的目录;5、执行安装命令;6、验证安装结果即可。大家可以访问本专题下的文章,了解pip安装使用方法的更多内容。

2023.10.09

2830

5

更新pip版本
更新pip版本

更新pip版本方法有使用pip自身更新、使用操作系统自带的包管理工具、使用python包管理工具、手动安装最新版本。想了解更多相关的内容,请阅读专题下面的文章。

2024.12.20

6523

6

pip设置清华源
pip设置清华源

设置方法:1、打开终端或命令提示符窗口;2、运行“touch ~/.pip/pip.conf”命令创建一个名为pip的配置文件;3、打开pip.conf文件,然后添加“[global];index-url = https://pypi.tuna.tsinghua.edu.cn/simple”内容,这将把pip的镜像源设置为清华大学的镜像源;4、保存并关闭文件即可。

2024.12.23

8102

11

python升级pip
python升级pip

本专题整合了python升级pip相关教程,阅读下面的文章了解更多详细内容。

2025.07.23

4047

16

pdf怎么转换成xml格式
pdf怎么转换成xml格式

将 pdf 转换为 xml 的方法:1. 使用在线转换器;2. 使用桌面软件(如 adobe acrobat、itext);3. 使用命令行工具(如 pdftoxml)。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.01

4364

5

xml怎么变成word
xml怎么变成word

步骤:1. 导入 xml 文件;2. 选择 xml 结构;3. 映射 xml 元素到 word 元素;4. 生成 word 文档。提示:确保 xml 文件结构良好,并预览 word 文档以验证转换是否成功。想了解更多xml的相关内容,可以阅读本专题下面的文章。

2024.08.01

5657

7

xml是什么格式的文件
xml是什么格式的文件

xml是一种纯文本格式的文件。xml指的是可扩展标记语言,标准通用标记语言的子集,是一种用于标记电子文件使其具有结构性的标记语言。想了解更多相关的内容,可阅读本专题下面的相关文章。

2024.11.28

2402

7

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.03

1678

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.6万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 133.4万人学习