使用 AJAX 请求爬取 SIPSA 展商网站的完整教程

陌枫酱_2535

陌枫酱_2535

2026-03-22

218人浏览

原创

使用 AJAX 请求爬取 SIPSA 展商网站的完整教程

本文详解如何正确抓取 sipsa 农业展会官网(sipsa-filaha.com)的展商数据——该站采用前端动态加载(jetengine + ajax 分页),直接请求 html 页面将返回空列表,必须模拟真实 ajax 请求并解析响应中的 json 内容。

本文详解如何正确抓取 sipsa 农业展会官网(sipsa-filaha.com)的展商数据——该站采用前端动态加载(jetengine + ajax 分页),直接请求 html 页面将返回空列表,必须模拟真实 ajax 请求并解析响应中的 json 内容。

SIPSA 官网(https://www.sipsa-filaha.com/fr/exposant/)看似是传统分页列表页,实则为基于 WordPress JetEngine 构建的动态内容系统:页面初始 HTML 中不包含任何展商 DOM 元素,所有展商卡片均由 JavaScript 通过 POST 请求 admin-ajax.php 动态注入。因此,你原始代码中对 /fr/exposant/?page=N 的 requests.get() 调用虽能成功返回 HTTP 200,但 soup.select(".exposant-list-item") 必然为空——因为真实数据尚未加载。

要成功爬取,需逆向分析浏览器开发者工具(Network → XHR)中“加载更多”或分页触发的真实 AJAX 请求,提取其 URL、method、headers 和完整 form data(即请求体),然后在 Python 中精准复现。

✅ 正确爬取流程概览

  1. 定位 AJAX 接口:目标地址为 https://www.sipsa-filaha.com/wp-admin/admin-ajax.php;
  2. 构造请求体(data):包含 action="jet_smart_filters" 及大量 JetEngine 特定参数(如 settings[lisitng_id], props[page], paged 等);
  3. 设置关键请求头:X-Requested-With: XMLHttpRequest 是识别 AJAX 请求的核心标识,Referer 需匹配当前页面 URL,User-Agent 应合理;
  4. 解析响应:服务器返回 JSON,其中 content 字段为 HTML 字符串,需再次用 BeautifulSoup 解析;
  5. 深度采集(可选):若需详细字段(如“Secteur d’activité”、“Pays”),需访问每个展商详情页并定位

    后紧邻的

    标签。

    AJAX技术—无刷新获取数据相关课件
    AJAX技术—无刷新获取数据相关课件

    AJAX技术—无刷新获取数据相关课件

    下载

? 示例代码(稳定可运行)

以下代码已适配最新页面结构,支持多页批量抓取,并内置异常处理与字段容错:

import requests
from bs4 import BeautifulSoup
import time
import pandas as pd

# 1. AJAX 接口地址
ajax_url = "https://www.sipsa-filaha.com/wp-admin/admin-ajax.php"

# 2. 固定请求头(关键!)
headers = {
    "User-Agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:109.0) Gecko/20100101 Firefox/116.0",
    "X-Requested-With": "XMLHttpRequest",
    "Referer": "https://www.sipsa-filaha.com/fr/exposant/?page=1",
}

# 3. 请求体模板(注意:settings[lisitng_id] 和 props[found_posts] 需验证,当前为 10574 / 447)
base_data = {
    "action": "jet_smart_filters",
    "provider": "jet-engine/exposantlistinggrid",
    "settings[lisitng_id]": "10574",  # 展商列表 ID,通常固定
    "settings[columns]": "3",
    "settings[is_archive_template]": "yes",
    "settings[post_status][]": "publish",
    "settings[posts_num]": "6",
    "settings[max_posts_num]": "9",
    "settings[equal_columns_height]": "yes",
    "props[found_posts]": "447",      # 总展商数(用于估算总页数)
    "props[max_num_pages]": "30",
    "props[page]": "1",
    "props[query_type]": "posts",
    "props[query_id]": "2",
    "paged": "1",  # 动态修改此值实现翻页
    "indexing_filters": "[3085,3086,3910]",
}

all_data = []

# 4. 循环翻页(建议先测试前 3 页)
for page_num in range(1, 4):  # 替换为 range(1, 31) 抓全部
    print(f"▶ 正在抓取第 {page_num} 页...")
    base_data["paged"] = str(page_num)
    base_data["props[page]"] = str(page_num)

    try:
        response = requests.post(ajax_url, data=base_data, headers=headers, timeout=15)
        response.raise_for_status()
        json_data = response.json()

        # 解析返回的 HTML 片段
        soup = BeautifulSoup(json_data["content"], "html.parser")

        for item in soup.select(".jet-listing-grid__item"):
            # 基础信息:展商名称与详情页链接
            title_elem = item.select_one(".elementor-heading-title")
            name = title_elem.get_text(strip=True) if title_elem else "N/A"
            link_elem = item.select_one("a")
            detail_url = link_elem["href"] if link_elem and link_elem.has_attr("href") else None

            # 深度抓取详情页(仅当有链接时)
            sector, country = "N/A", "N/A"
            if detail_url:
                try:
                    detail_resp = requests.get(detail_url, headers=headers, timeout=10)
                    detail_soup = BeautifulSoup(detail_resp.content, "html.parser")

                    # 使用 :soup-contains 精准定位“Secteur d'activité”后的 p 标签
                    sector_elem = detail_soup.select_one('h3:-soup-contains("Secteur d\'activité") + p')
                    sector = sector_elem.get_text(strip=True) if sector_elem else "N/A"

                    country_elem = detail_soup.select_one('h3:-soup-contains("Pays") + p')
                    country = country_elem.get_text(strip=True) if country_elem else "N/A"
                except Exception as e:
                    print(f"⚠️ 详情页抓取失败 {detail_url}: {e}")

            all_data.append({
                "Name": name,
                "Sector": sector,
                "Country": country,
                "Detail_URL": detail_url
            })

        time.sleep(1.5)  # 尊重服务器,避免被限流

    except requests.exceptions.RequestException as e:
        print(f"❌ 第 {page_num} 页请求失败: {e}")
        continue
    except KeyError as e:
        print(f"❌ 响应格式异常(可能接口变更): 缺少键 {e}")
        continue

# 5. 输出为 DataFrame 并保存
df = pd.DataFrame(all_data)
print(f"\n✅ 成功抓取 {len(all_data)} 条展商记录")
print(df.head())

# 保存为 Excel(确保路径存在)
output_path = "sipsa_exhibitors_full.xlsx"
df.to_excel(output_path, index=False)
print(f"? 数据已保存至: {output_path}")

⚠️ 关键注意事项

  • 参数时效性:settings[lisitng_id] 和 props[found_posts] 可能随网站更新而变化。若返回空或报错,请打开浏览器开发者工具 → Network → 切换到任意分页 → 查看 admin-ajax.php 请求的 Payload,复制最新参数覆盖代码。
  • 反爬策略:该站未启用强反爬,但高频请求(
  • 字段稳定性:详情页中 "Secteur d'activité" 和 "Pays" 的 HTML 结构较固定,但若未来改用 或增加 wrapper div,h3 + p 选择器会失效,此时需改用更鲁棒的定位方式(如 find_next_sibling() 或正则提取)。
  • 编码与字符集:网页为 UTF-8,requests 默认可正确解码,无需额外设置 response.encoding。
  • 法律与合规:请务必查阅 robots.txt(https://www.sipsa-filaha.com/robots.txt)及网站 Terms of Service,本教程仅用于学习与非商业研究用途。

掌握 AJAX 驱动网站的爬取逻辑,是进阶 Web Scraping 的核心能力。与其反复调试“为什么 select 不到元素”,不如养成第一时间检查 Network 面板的习惯——真实的数据入口,永远藏在 XHR 请求之中。

相关专题

更多
html版权符号
html版权符号

html版权符号是“©”,可以在html源文件中直接输入或者从word中复制粘贴过来,php中文网还为大家带来html的相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

2023.06.14

7675

7

html在线编辑器
html在线编辑器

html在线编辑器是用于在线编辑的工具,编辑的内容是基于HTML的文档。它经常被应用于留言板留言、论坛发贴、Blog编写日志或等需要用户输入普通HTML的地方,是Web应用的常用模块之一。php中文网为大家带来了html在线编辑器的相关教程、以及相关文章等内容,供大家免费下载使用。

2023.06.21

4212

4

html网页制作
html网页制作

html网页制作是指使用超文本标记语言来设计和创建网页的过程,html是一种标记语言,它使用标记来描述文档结构和语义,并定义了网页中的各种元素和内容的呈现方式。本专题为大家提供html网页制作的相关的文章、下载、课程内容,供大家免费下载体验。

2023.07.31

3870

5

html空格
html空格

html空格是一种用于在网页中添加间隔和对齐文本的特殊字符,被用于在网页中插入额外的空间,以改变元素之间的排列和对齐方式。本专题为大家提供html空格的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.01

3899

5

html是什么
html是什么

HTML是一种标准标记语言,用于创建和呈现网页的结构和内容,是互联网发展的基石,为网页开发提供了丰富的功能和灵活性。本专题为大家提供html相关的各种文章、以及下载和课程。

2023.08.11

5319

6

html字体大小怎么设置
html字体大小怎么设置

在网页设计中,字体大小的选择是至关重要的。合理的字体大小不仅可以提升网页的可读性,还能够影响用户对网页整体布局的感知。php中文网将介绍一些常用的方法和技巧,帮助您在HTML中设置合适的字体大小。

2023.08.11

3821

3

html转txt
html转txt

html转txt的方法有使用文本编辑器、使用在线转换工具和使用Python编程。本专题为大家提供html转txt相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.31

3649

3

html文本框代码怎么写
html文本框代码怎么写

html文本框代码:1、单行文本框【<input type="text" style="height:..;width:..;" />】;2、多行文本框【textarea style=";height:;"></textare】。

2023.09.01

3128

6

HTML嵌入CSS样式的方法
HTML嵌入CSS样式的方法

HTML嵌入CSS样式的方法有内联样式、内部样式表和外部样式表。本专题为大家提供CSS样式相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.20

3308

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
jQuery官方API文档
jQuery官方API文档

共0课时 | 0人学习

Symfony教程(入门篇+基础篇)
Symfony教程(入门篇+基础篇)

共18课时 | 1.8万人学习