使用 Scrapy 提取未被 <div> 包裹的 HTML 数据

老浩姑娘_8894

老浩姑娘_8894

2025-10-13

1041人浏览

原创

使用 scrapy 提取未被 <div> 包裹的 <a  style=html 数据"> 包裹的 html 数据" />

本文档旨在指导您如何使用 Scrapy 提取特定 HTML 结构中的数据,特别是当目标数据没有被清晰的 `

` 标签包裹时。我们将通过一个实际案例,演示如何使用 CSS 选择器结合 `getall()` 方法,从复杂的 HTML 结构中准确提取所需信息,并进行数据清洗和转换。

理解问题与解决方案

在网页抓取过程中,我们经常会遇到需要提取的数据并非直接位于一个易于定位的

标签内的情况。例如,数据可能散布在多个标签之间,或者位于特定文本的旁边。Scrapy 提供了强大的 CSS 选择器和 XPath 选择器,可以帮助我们精确定位这些数据。

本教程将重点介绍如何使用 CSS 选择器,结合 :contains() 伪类和 getall() 方法,来解决这类问题。getall() 方法返回一个包含所有匹配元素的列表,这对于处理包含多个结果的查询非常有用。

示例:提取房屋卧室数量

假设我们需要从以下 HTML 片段中提取卧室数量(即 "1"):

浏览器会话(免费版)
浏览器会话(免费版)

浏览器会话管理免费版,支持一次性页面抓取、基础会话列表与简易调试。

下载
<div class="search-results-listings-list__item-description__item search-results-listings-list__item-description__characteristics">
    <div class="search-results-listings-list__item-description__characteristics__item">
        <!--?xml version="1.0"?-->
        <svg xmlns="http://www.w3.org/2000/svg" viewbox="0 0 46 41" class="search-results-listings-list__item-description__characteristics__icon search-results-listings-list__item-description__characteristics__icon--bedrooms"><path d="M5.106 0c-.997 0-1.52.904-1.52 1.533v11.965L.074 23.95c-.054.163-.074.38-.074.486V39.2c-.017.814.727 1.554 1.54 1.554.796 0 1.54-.74 1.52-1.554v-3.555h39.88V39.2c-.016.814.724 1.554 1.52 1.554.813 0 1.56-.74 1.54-1.554V24.436c0-.106-.017-.326-.074-.486l-3.512-10.449V1.537c0-.633-.523-1.534-1.52-1.534H5.106V0zm1.54 3.07h32.708v3.663a5.499 5.499 0 0 0-2.553-.614h-9.708c-1.614 0-3.06.687-4.093 1.77a5.648 5.648 0 0 0-4.093-1.77H9.2c-.924 0-1.793.217-2.553.614V3.07zm2.553 6.098h9.708c1.45 0 2.553 1.12 2.553 2.547v.523H6.646v-.523c0-1.426 1.103-2.547 2.553-2.547zm17.894 0H36.8c1.45 0 2.553 1.12 2.553 2.547v.523H24.54v-.523c0-1.426 1.103-2.547 2.553-2.547zm-20.88 6.12H39.79l2.553 7.615H3.656l2.556-7.615zM3.06 25.973h39.88v6.625H3.06v-6.625z"></path></svg><div class="search-results-listings-list__item-description__characteristics-popover">Chambres</div>
        1
    </div>
</div>

Scrapy 代码:

import scrapy
import re

class MySpider(scrapy.Spider):
    name = "my_spider"
    start_urls = ["http://example.com"] # 替换成你实际的起始 URL

    def parse(self, response):
        # 假设 house_listing 是包含上述 HTML 片段的 Selector 对象
        house_listing = response.css('.search-results-listings-list__item-description__item.search-results-listings-list__item-description__characteristics')

        bedrooms_info = house_listing.css('.search-results-listings-list__item-description__characteristics__item:contains("Chambres") ::text').getall()
        # bedrooms_info 现在是一个列表,包含所有匹配的文本内容
        # 提取列表中的最后一个元素,通常是卧室数量
        bedrooms = bedrooms_info[-1]

        # 使用正则表达式提取数字
        match = re.search(r'\d+', bedrooms)
        if match:
            bedroom_count = int(match.group())
            yield {
                'bedrooms': bedroom_count
            }
        else:
            yield {
                'bedrooms': None  # 或者其他默认值
            }

代码解释:

  1. house_listing = response.css('.search-results-listings-list__item-description__item.search-results-listings-list__item-description__characteristics'): 首先,使用 CSS 选择器定位到包含卧室信息的父
    元素。
  2. .search-results-listings-list__item-description__characteristics__item:contains("Chambres") ::text: 这个 CSS 选择器做了以下事情:
    • .search-results-listings-list__item-description__characteristics__item: 选择所有具有该类的元素。
    • :contains("Chambres"): 筛选出包含 "Chambres" 文本的元素。
    • ::text: 提取匹配元素的文本内容。
  3. bedrooms_info = ... .getall(): 使用 getall() 方法获取所有匹配的文本内容,返回一个列表。
  4. bedrooms = bedrooms_info[-1]: 由于卧室数量通常是列表中的最后一个元素,因此使用 [-1] 索引获取它。
  5. re.search(r'\d+', bedrooms): 使用正则表达式提取文本中的数字。
  6. 数据清洗: 提取的文本可能包含额外的空白字符,可以使用 .strip() 方法去除。
  7. 数据转换: 将提取的字符串转换为整数类型。
  8. 注意事项

    • HTML 结构稳定性: 网页的 HTML 结构可能会发生变化,因此需要定期检查和更新 CSS 选择器。
    • 错误处理: 在提取数据时,应考虑可能出现的错误情况,例如目标元素不存在或文本内容格式不正确。
    • Robots.txt: 遵守网站的 robots.txt 协议,避免过度抓取。
    • 动态加载: 如果网站使用 JavaScript 动态加载内容,可能需要使用 Scrapy 与 Selenium 或其他工具结合,模拟浏览器行为。

    总结

    本教程介绍了如何使用 Scrapy 提取未被

    包裹的 HTML 数据。通过结合 CSS 选择器、:contains() 伪类和 getall() 方法,可以灵活地定位和提取复杂 HTML 结构中的目标数据。同时,需要注意 HTML 结构的稳定性、错误处理和网站的 robots.txt 协议。希望本教程能帮助您更好地使用 Scrapy 进行网页抓取。

前端入门到VUE实战笔记:立即使用
在学习笔记中,你将探索 前端 的入门与实战技巧!

相关文章

HTML速学教程(入门课程)
HTML速学教程(入门课程)

HTML怎么学习?HTML怎么入门?HTML在哪学?HTML怎么学才快?不用担心,这里为大家提供了HTML速学教程(入门课程),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
js正则表达式
js正则表达式

php中文网为大家提供各种js正则表达式语法大全以及各种js正则表达式使用的方法,还有更多js正则表达式的相关文章、相关下载、相关课程,供大家免费下载体验。

2023.06.20

5076

8

正则表达式不包含
正则表达式不包含

正则表达式,又称规则表达式,,是一种文本模式,包括普通字符和特殊字符,是计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串,通常被用来检索、替换那些符合某个模式的文本。php中文网给大家带来了有关正则表达式的相关教程以及文章,希望对大家能有所帮助。

2023.07.05

3541

4

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

2023.07.05

9882

9

java正则表达式匹配字符串
java正则表达式匹配字符串

在Java中,我们可以使用正则表达式来匹配字符串。本专题为大家带来java正则表达式匹配字符串的相关内容,帮助大家解决问题。

2023.08.11

832

5

正则表达式空格
正则表达式空格

正则表达式空格可以用“\s”来表示,它是一个特殊的元字符,用于匹配任意空白字符,包括空格、制表符、换行符等。本专题为大家提供正则表达式相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.31

540

5

Python爬虫获取数据的方法
Python爬虫获取数据的方法

Python爬虫可以通过请求库发送HTTP请求、解析库解析HTML、正则表达式提取数据,或使用数据抓取框架来获取数据。更多关于Python爬虫相关知识。详情阅读本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.13

693

12

正则表达式空格如何表示
正则表达式空格如何表示

正则表达式空格可以用“\s”来表示,它是一个特殊的元字符,用于匹配任意空白字符,包括空格、制表符、换行符等。想了解更多正则表达式空格怎么表示的内容,可以访问下面的文章。

2023.11.17

406

3

正则表达式中如何匹配数字
正则表达式中如何匹配数字

正则表达式中可以通过匹配单个数字、匹配多个数字、匹配固定长度的数字、匹配整数和小数、匹配负数和匹配科学计数法表示的数字的方法匹配数字。更多关于正则表达式的相关知识详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.12.06

739

7

php正则表达式有哪些
php正则表达式有哪些

php正则表达式有"/pattern/"、"^"、"$"、"."、"[]"、"[^]"、"[a-z]"、"[A-Z]"、"[0-9]"、"\d"、"\D"、"\w"、"\W"、&a

2024.02.23

312

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程