搜索
首页后端开发Python教程python beautifulsoup4模块怎么用

python beautifulsoup4模块怎么用

王林
王林
May 11, 2023 pm 10:31 PM
pythonbeautifulsoup4

一、BeautifulSoup4 基础知识补充

BeautifulSoup4 是一款 python 解析库，主要用于解析 HTML 和 XML，在爬虫知识体系中解析 HTML 会比较多一些，

该库安装命令如下：

pip install beautifulsoup4

BeautifulSoup 在解析数据时，需依赖第三方解析器，常用解析器与优势如下所示：

  • python 标准库 html.parser：python 内置标准库，容错能力强；

  • lxml 解析器：速度快，容错能力强；

  • html5lib：容错性最强，解析方式与浏览器一致。

接下来用一段自定义的 HTML 代码来演示 beautifulsoup4 库的基本使用，测试代码如下：

<html>
  <head>
    <title>测试bs4模块脚本</title>
  </head>
  <body>
    <h2>橡皮擦的爬虫课</h2>
    <p>用一段自定义的 HTML 代码来演示</p>
  </body>
</html>

使用 BeautifulSoup 对其进行简单的操作，包含实例化 BS 对象，输出页面标签等内容。

from bs4 import BeautifulSoup
text_str = """<html>
	<head>
		<title>测试bs4模块脚本</title>
	</head>
	<body>
		<h2>橡皮擦的爬虫课</h2>
		<p>用1段自定义的 HTML 代码来演示</p>
		<p>用2段自定义的 HTML 代码来演示</p>
	</body>
</html>
"""
# 实例化 Beautiful Soup 对象
soup = BeautifulSoup(text_str, "html.parser")
# 上述是将字符串格式化为 Beautiful Soup 对象，你可以从一个文件进行格式化
# soup = BeautifulSoup(open(&#39;test.html&#39;))
print(soup)
# 输入网页标题 title 标签
print(soup.title)
# 输入网页 head 标签
print(soup.head)

# 测试输入段落标签 p
print(soup.p) # 默认获取第一个

我们可以通过 BeautifulSoup 对象，直接调用网页标签，这里存在一个问题，通过 BS 对象调用标签只能获取排在第一位置上的标签，如上述代码中，只获取到了一个 p 标签，如果想要获取更多内容，请继续阅读。

学习到这里，我们需要了解 BeautifulSoup 中的 4 个内置对象：

  • BeautifulSoup：基本对象，整个 HTML 对象，一般当做 Tag 对象看即可；

  • Tag：标签对象，标签就是网页中的各个节点，例如 title，head，p；

  • NavigableString：标签内部字符串；

  • Comment：注释对象，爬虫里面使用场景不多。

下述代码为你演示这几种对象出现的场景，注意代码中的相关注释：

from bs4 import BeautifulSoup
text_str = """<html>
	<head>
		<title>测试bs4模块脚本</title>
	</head>
	<body>
		<h2>橡皮擦的爬虫课</h2>
		<p>用1段自定义的 HTML 代码来演示</p>
		<p>用2段自定义的 HTML 代码来演示</p>
	</body>
</html>
"""
# 实例化 Beautiful Soup 对象
soup = BeautifulSoup(text_str, "html.parser")
# 上述是将字符串格式化为 Beautiful Soup 对象，你可以从一个文件进行格式化
# soup = BeautifulSoup(open(&#39;test.html&#39;))
print(soup)
print(type(soup))  # <class &#39;bs4.BeautifulSoup&#39;>
# 输入网页标题 title 标签
print(soup.title)
print(type(soup.title)) # <class &#39;bs4.element.Tag&#39;>
print(type(soup.title.string)) # <class &#39;bs4.element.NavigableString&#39;>
# 输入网页 head 标签
print(soup.head)

对于 Tag 对象，有两个重要的属性，是 name 和 attrs

from bs4 import BeautifulSoup
text_str = """<html>
	<head>
		<title>测试bs4模块脚本</title>
	</head>
	<body>
		<h2>橡皮擦的爬虫课</h2>
		<p>用1段自定义的 HTML 代码来演示</p>
		<p>用2段自定义的 HTML 代码来演示</p>
		<a href="http://www.csdn.net" rel="external nofollow"  rel="external nofollow" >CSDN 网站</a>
	</body>
</html>
"""
# 实例化 Beautiful Soup 对象
soup = BeautifulSoup(text_str, "html.parser")
print(soup.name) # [document]
print(soup.title.name) # 获取标签名 title
print(soup.html.body.a) # 可以通过标签层级获取下层标签
print(soup.body.a) # html 作为一个特殊的根标签，可以省略
print(soup.p.a) # 无法获取到 a 标签
print(soup.a.attrs) # 获取属性

上述代码演示了获取 name 属性和 attrs 属性的用法，其中 attrs 属性得到的是一个字典，可以通过键获取对应的值。

获取标签的属性值，在 BeautifulSoup 中，还可以使用如下方法：

print(soup.a["href"])
print(soup.a.get("href"))

获取 NavigableString 对象 获取了网页标签之后，就要获取标签内文本了，通过下述代码进行。

print(soup.a.string)

除此之外，你还可以使用 text 属性和 get_text() 方法获取标签内容。

print(soup.a.string)
print(soup.a.text)
print(soup.a.get_text())

还可以获取标签内所有文本，使用 strings 和 stripped_strings 即可。

print(list(soup.body.strings)) # 获取到空格或者换行
print(list(soup.body.stripped_strings)) # 去除空格或者换行

扩展标签/节点选择器之遍历文档树

直接子节点

标签（Tag）对象的直接子元素，可以使用 contents 和 children 属性获取。

from bs4 import BeautifulSoup
text_str = """<html>
	<head>
		<title>测试bs4模块脚本</title>
	</head>
	<body>
		<div id="content">
			<h2>橡皮擦的爬虫课<span>最棒</span></h2>
            <p>用1段自定义的 HTML 代码来演示</p>
            <p>用2段自定义的 HTML 代码来演示</p>
            <a href="http://www.csdn.net" rel="external nofollow"  rel="external nofollow" >CSDN 网站</a>
		</div>
        <ul class="nav">
            <li>首页</li>
            <li>博客</li>
            <li>专栏课程</li>
        </ul>

	</body>
</html>
"""
# 实例化 Beautiful Soup 对象
soup = BeautifulSoup(text_str, "html.parser")
# contents 属性获取节点的直接子节点，以列表的形式返回内容
print(soup.div.contents) # 返回列表
# children 属性获取的也是节点的直接子节点，以生成器的类型返回
print(soup.div.children) # 返回 <list_iterator object at 0x00000111EE9B6340>

请注意以上两个属性获取的都是直接子节点，例如 h2 标签内的后代标签 span ，不会单独获取到。

如果希望将所有的标签都获取到，使用 descendants 属性，它返回的是一个生成器，所有标签包括标签内的文本都会单独获取。

print(list(soup.div.descendants))

其它节点的获取（了解即可，即查即用）

  • parent 和 parents：直接父节点和所有父节点；

  • next_sibling，next_siblings，previous_sibling，previous_siblings：分别表示下一个兄弟节点、下面所有兄弟节点、上一个兄弟节点、上面所有兄弟节点，由于换行符也是一个节点，所有在使用这几个属性时，要注意一下换行符；

  • next_element，next_elements，previous_element，previous_elements：这几个属性分别表示上一个节点或者下一个节点，注意它们不分层次，而是针对所有节点，例如上述代码中 div 节点的下一个节点是 h2，而 div 节点的兄弟节点是 ul。

文档树搜索相关函数

第一个要学习的函数就是 find_all() 函数，原型如下所示：

find_all(name,attrs,recursive,text,limit=None,**kwargs)

  • name：该参数为 tag 标签的名字，例如 find_all('p') 是查找所有的 p 标签，可接受标签名字符串、正则表达式与列表；

  • attrs：传入的属性，该参数可以字典的形式传入，例如 attrs={'class': 'nav'}，返回的结果是 tag 类型的列表；

上述两个参数的用法示例如下：

print(soup.find_all(&#39;li&#39;)) # 获取所有的 li
print(soup.find_all(attrs={&#39;class&#39;: &#39;nav&#39;})) # 传入 attrs 属性
print(soup.find_all(re.compile("p"))) # 传递正则，实测效果不理想
print(soup.find_all([&#39;a&#39;,&#39;p&#39;])) # 传递列表

  • recursive：调用 find_all () 方法时，BeautifulSoup 会检索当前 tag 的所有子孙节点，如果只想搜索 tag 的直接子节点，可以使用参数 recursive=False，测试代码如下：

print(soup.body.div.find_all([&#39;a&#39;,&#39;p&#39;],recursive=False)) # 传递列表

  • text：可以检索文档中的文本字符串内容，与 name 参数的可选值一样，text 参数接受标签名字符串、正则表达式、 列表；

print(soup.find_all(text=&#39;首页&#39;)) # [&#39;首页&#39;]
print(soup.find_all(text=re.compile("^首"))) # [&#39;首页&#39;]
print(soup.find_all(text=["首页",re.compile(&#39;课&#39;)])) # [&#39;橡皮擦的爬虫课&#39;, &#39;首页&#39;, &#39;专栏课程&#39;]

  • limit：可以用来限制返回结果的数量；

  • kwargs：如果一个指定名字的参数不是搜索内置的参数名，搜索时会把该参数当作 tag 的属性来搜索。这里要按 class 属性搜索，因为 class 是 python 的保留字，需要写作 class_，按 class_ 查找时，只要一个 CSS 类名满足即可，如需多个 CSS 名称，填写顺序需要与标签一致。

print(soup.find_all(class_ = &#39;nav&#39;))
print(soup.find_all(class_ = &#39;nav li&#39;))

还需要注意网页节点中，有些属性在搜索中不能作为kwargs参数使用，比如html5 中的 data-*属性，需要通过attrs参数进行匹配。

与 find_all()方法用户基本一致的其它方法清单如下：

  • find()：函数原型find( name , attrs , recursive , text , **kwargs )，返回一个匹配元素；

  • find_parents()，find_parent()：函数原型 find_parent(self, name=None, attrs={}, **kwargs)，返回当前节点的父级节点；

  • find_next_siblings()，find_next_sibling()：函数原型 find_next_sibling(self, name=None, attrs={}, text=None, **kwargs)，返回当前节点的下一兄弟节点；

  • find_previous_siblings()，find_previous_sibling()：同上，返回当前的节点的上一兄弟节点；

  • find_all_next()，find_next()，find_all_previous () ，find_previous ()：函数原型 find_all_next(self, name=None, attrs={}, text=None, limit=None, **kwargs)，检索当前节点的后代节点。

CSS 选择器 该小节的知识点与pyquery有点撞车，核心使用select()方法即可实现，返回数据是列表元组。

  • 通过标签名查找，soup.select("title")；

  • 通过类名查找，soup.select(".nav")；

  • 通过 id 名查找，soup.select("#content")；

  • 通过组合查找，soup.select("div#content")；

  • 通过属性查找，soup.select("div[id='content'")，soup.select("a[href]")；

在通过属性查找时，还有一些技巧可以使用，例如：

  • ^=：可以获取以 XX 开头的节点：

print(soup.select(&#39;ul[class^="na"]&#39;))

  • *=：获取属性包含指定字符的节点：

print(soup.select(&#39;ul[class*="li"]&#39;))

二、爬虫案例

BeautifulSoup 的基础知识掌握之后，在进行爬虫案例的编写，就非常简单了，本次要采集的目标网站 ，该目标网站有大量的艺术二维码，可以供设计大哥做参考。

python beautifulsoup4模块怎么用

下述应用到了 BeautifulSoup 模块的标签检索与属性检索，完整代码如下：

from bs4 import BeautifulSoup
import requests
import logging
logging.basicConfig(level=logging.NOTSET)
def get_html(url, headers) -> None:
    try:
        res = requests.get(url=url, headers=headers, timeout=3)
    except Exception as e:
        logging.debug("采集异常", e)

    if res is not None:
        html_str = res.text
        soup = BeautifulSoup(html_str, "html.parser")
        imgs = soup.find_all(attrs={&#39;class&#39;: &#39;lazy&#39;})
        print("获取到的数据量是", len(imgs))
        datas = []
        for item in imgs:
            name = item.get(&#39;alt&#39;)
            src = item["src"]
            logging.info(f"{name},{src}")
            # 获取拼接数据
            datas.append((name, src))
        save(datas, headers)
def save(datas, headers) -> None:
    if datas is not None:
        for item in datas:
            try:
                # 抓取图片
                res = requests.get(url=item[1], headers=headers, timeout=5)
            except Exception as e:
                logging.debug(e)

            if res is not None:
                img_data = res.content
                with open("./imgs/{}.jpg".format(item[0]), "wb+") as f:
                    f.write(img_data)
    else:
        return None
if __name__ == &#39;__main__&#39;:
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36"
    }
    url_format = "http://www.9thws.com/#p{}"
    urls = [url_format.format(i) for i in range(1, 2)]
    get_html(urls[0], headers)

本次代码测试输出采用的 logging 模块实现，效果如下图所示。 测试仅采集了 1 页数据，如需扩大采集范围，只需要修改 main 函数内页码规则即可。 ==代码编写过程中，发现数据请求是类型是 POST，数据返回格式是 JSON，所以本案例仅作为 BeautifulSoup 的上手案例吧== 

python beautifulsoup4模块怎么用

以上是python beautifulsoup4模块怎么用的详细内容。更多信息请关注PHP中文网其他相关文章！

声明
本文转载于：亿速云。如有侵权，请联系admin@php.cn删除
相关文章
Python：编译器还是解释器？Python：编译器还是解释器？May 13, 2025 am 12:10 AM

Python是解释型语言，但也包含编译过程。1）Python代码先编译成字节码。2）字节码由Python虚拟机解释执行。3）这种混合机制使Python既灵活又高效，但执行速度不如完全编译型语言。

python用于循环与循环时：何时使用哪个？python用于循环与循环时：何时使用哪个？May 13, 2025 am 12:07 AM

useeAforloopWheniteratingOveraseQuenceOrforAspecificnumberoftimes; useAwhiLeLoopWhenconTinuingUntilAcIntiment.ForloopSareIdeAlforkNownsences，而WhileLeleLeleLeleLoopSituationSituationSituationsItuationSuationSituationswithUndEtermentersitations。

Python循环：最常见的错误Python循环：最常见的错误May 13, 2025 am 12:07 AM

pythonloopscanleadtoerrorslikeinfiniteloops，modifyingListsDuringteritation，逐个偏置，零indexingissues，andnestedloopineflinefficiencies

对于循环和python中的循环时：每个循环的优点是什么？对于循环和python中的循环时：每个循环的优点是什么？May 13, 2025 am 12:01 AM

forloopsareadvantageousforknowniterations and sequests，供应模拟性和可读性；而LileLoopSareIdealFordyNamicConcitionSandunknowniterations，提供ControloperRoverTermination.1）forloopsareperfectForeTectForeTerToratingOrtratingRiteratingOrtratingRitterlistlistslists，callings conspass，calplace，cal，ofstrings ofstrings，orstrings，orstrings，orstrings ofcces

Python：深入研究汇编和解释Python：深入研究汇编和解释May 12, 2025 am 12:14 AM

pythonisehybridmodelofcompilationand interpretation：1）thepythoninterspretercompilesourcececodeintoplatform- interpententbybytecode.2）thepytythonvirtualmachine（pvm）thenexecuteCutestestestesteSteSteSteSteSteSthisByTecode，BelancingEaseofuseWithPerformance。

Python是一种解释或编译语言，为什么重要？Python是一种解释或编译语言，为什么重要？May 12, 2025 am 12:09 AM

pythonisbothinterpretedAndCompiled.1）它的compiledTobyTecodeForportabilityAcrosplatforms.2）bytecodeisthenInterpreted，允许fordingfordforderynamictynamictymictymictymictyandrapiddefupment，尽管Ititmaybeslowerthananeflowerthanancompiledcompiledlanguages。

对于python中的循环时循环与循环：解释了关键差异对于python中的循环时循环与循环：解释了关键差异May 12, 2025 am 12:08 AM

在您的知识之际，而foroopsareideal insinAdvance中，而WhileLoopSareBetterForsituations则youneedtoloopuntilaconditionismet

循环时：实用指南循环时：实用指南May 12, 2025 am 12:07 AM

ForboopSareSusedwhenthentheneMberofiterationsiskNownInAdvance，而WhileLoopSareSareDestrationsDepportonAcondition.1）ForloopSareIdealForiteratingOverSequencesLikelistSorarrays.2）whileLeleLooleSuitableApeableableableableableableforscenarioscenarioswhereTheLeTheLeTheLeTeLoopContinusunuesuntilaspecificiccificcificCondond

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序，用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

Video Face Swap

Video Face Swap

使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸！

显示更多

热门文章

<🎜>：种植花园 - 完整的突变指南
3 周前ByDDD
<🎜>：泡泡胶模拟器无穷大 - 如何获取和使用皇家钥匙
3 周前By尊渡假赌尊渡假赌尊渡假赌
如何修复KB5055612无法在Windows 10中安装？
3 周前ByDDD
北端：融合系统，解释
3 周前By尊渡假赌尊渡假赌尊渡假赌
Mandragora：巫婆树的耳语 - 如何解锁抓钩
3 周前By尊渡假赌尊渡假赌尊渡假赌
显示更多

热工具

安全考试浏览器

安全考试浏览器

Safe Exam Browser是一个安全的浏览器环境，用于安全地进行在线考试。该软件将任何计算机变成一个安全的工作站。它控制对任何实用工具的访问，并防止学生使用未经授权的资源。

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

功能强大的PHP集成开发环境

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

VSCode Windows 64位 下载

VSCode Windows 64位 下载

微软推出的免费、功能强大的一款IDE编辑器

MinGW - 适用于 Windows 的极简 GNU

MinGW - 适用于 Windows 的极简 GNU

这个项目正在迁移到osdn.net/projects/mingw的过程中，你可以继续在那里关注我们。MinGW：GNU编译器集合（GCC）的本地Windows移植版本，可自由分发的导入库和用于构建本地Windows应用程序的头文件；包括对MSVC运行时的扩展，以支持C99功能。MinGW的所有软件都可以在64位Windows平台上运行。

显示更多

热门话题

Java教程
1666
14
CakePHP 教程
1426
52
Laravel 教程
1328
25
PHP教程
1273
29
C# 教程
1254
24
显示更多