如何通过动态API请求爬取多级联动下拉选项（如尺寸→容量→包装件数）-Python教程-PHP中文网

本文详解如何使用python结合requests与beautifulsoup，通过模拟ajax请求获取电商页面中依赖前序选项的多级下拉菜单数据（如选中“size”后动态加载对应的“capacity”和“pack pieces”选项），解决scrapy静态解析无法捕获动态内容的问题。

本文详解如何使用python结合requests与beautifulsoup，通过模拟ajax请求获取电商页面中依赖前序选项的多级下拉菜单数据（如选中“size”后动态加载对应的“capacity”和“pack pieces”选项），解决scrapy静态解析无法捕获动态内容的问题。

在电商网站（如BCF Australia）中，产品变体常采用级联式下拉菜单：用户选择“Size”后，“Capacity”选项才根据所选尺寸动态加载；进一步选择“Capacity”，“Pack Pieces”又随之更新。这类交互通常由前端JavaScript发起AJAX请求，从后端API实时获取HTML片段或JSON数据——而Scrapy等基于静态HTML解析的工具无法自动执行JS或追踪后续请求，因此直接css('.variation-select option')只能捕获初始页面的空/默认选项，导致“Scenario 3”（Size选中但Capacity/Pack为空）失败。

✅ 正确方案：主动构造并调用变体API

BCF网站实际通过/on/demandware.store/Sites-bcf-au-Site/en_AU/Product-Variation接口返回变体HTML片段。关键在于：

Mira

一款面向创意视频制作的AI视频生成工具，帮助用户根据创意描述探索动态视觉内容和短视频素材。

下载

提取商品ID（如M675158）；
遍历所有一级选项（如.swatchanchor链接中的Size文本）；
对每个Size，拼接含dwvar_{pid}_size参数的GET请求，触发后端返回对应二级选项（Capacity）的
解析返回HTML中.capacity option（跳过首项）；
同理，可对每个Capacity再发起新请求，传入dwvar_{pid}_capacity参数，获取三级Pack Pieces选项。

以下为完整可运行示例（支持二级+三级联动）：

import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin

def scrape_multi_level_variants(product_url: str):
    # Step 1: 获取商品页基础信息
    response = requests.get(product_url, headers={"User-Agent": "Mozilla/5.0"})
    soup = BeautifulSoup(response.content, "html.parser")

    # 提取商品ID（从URL或页面meta）
    pid = product_url.split("/")[-2]  # 如 M675158
    api_base = "https://www.bcf.com.au/on/demandware.store/Sites-bcf-au-Site/en_AU/Product-Variation"

    results = {}

    # Step 2: 遍历所有Size选项（一级）
    for size_link in soup.select("li > a.swatchanchor"):
        size_text = size_link.text.strip()
        if not size_text:
            continue

        # 构造Size参数请求
        params = {
            "pid": pid,
            f"dwvar_{pid}_size": size_text,
            "source": "detail",
            "variant_order": "size",
            "Quantity": "1",
            "productlistid": "undefined",
            "format": "ajax"
        }

        try:
            api_resp = requests.get(api_base, params=params, timeout=10)
            api_soup = BeautifulSoup(api_resp.content, "html.parser")

            # Step 3: 提取该Size下的所有Capacity选项（二级）
            capacity_options = api_soup.select(".capacity option:not([value=''])")
            capacities = [opt.text.strip() for opt in capacity_options]

            # Step 4: 对每个Capacity，请求其对应的Pack Pieces（三级）
            pack_pieces_map = {}
            for cap_opt in capacity_options:
                cap_value = cap_opt.get("value", "").strip()
                if not cap_value:
                    continue

                # 构造Capacity参数请求
                cap_params = params.copy()
                cap_params[f"dwvar_{pid}_capacity"] = cap_value
                cap_params["variant_order"] = "capacity"

                try:
                    cap_resp = requests.get(api_base, params=cap_params, timeout=10)
                    cap_soup = BeautifulSoup(cap_resp.content, "html.parser")
                    pack_opts = cap_soup.select(".pack-pieces option:not([value=''])")
                    pack_pieces_map[cap_opt.text.strip()] = [p.text.strip() for p in pack_opts]
                except Exception as e:
                    print(f"⚠️  获取 {size_text} → {cap_opt.text.strip()} 的Pack Pieces失败: {e}")
                    pack_pieces_map[cap_opt.text.strip()] = []

            results[size_text] = {
                "capacities": capacities,
                "pack_pieces_by_capacity": pack_pieces_map
            }

        except Exception as e:
            print(f"❌ 获取 {size_text} 的Capacity失败: {e}")

    return results

# 使用示例
if __name__ == "__main__":
    url = "https://www.bcf.com.au/p/daiwa-23-td-black-spinning-rod/M675158.html"
    data = scrape_multi_level_variants(url)

    # 打印结构化结果
    for size, variants in data.items():
        print(f"\n✅ Size: {size}")
        for cap, packs in variants["pack_pieces_by_capacity"].items():
            print(f"  ├─ Capacity: {cap}")
            print(f"  │  └─ Pack Pieces: {', '.join(packs) if packs else 'N/A'}")