如何用 Selenium 稳健实现 Zoopla 房产数据的分页爬取-Python教程-PHP中文网

如何用 Selenium 稳健实现 Zoopla 房产数据的分页爬取

zoopla 网站受 cloudflare 严格反爬保护，原生 selenium 分页常因触发人机验证而中断；本文提供绕过 cookie 弹窗、识别 shadow dom、基于 url 变化判断翻页终止的鲁棒方案，并附可直接运行的优化代码。

zoopla 网站受 cloudflare 严格反爬保护，原生 selenium 分页常因触发人机验证而中断；本文提供绕过 cookie 弹窗、识别 shadow dom、基于 url 变化判断翻页终止的鲁棒方案，并附可直接运行的优化代码。

在自动化抓取 Zoopla（如 https://www.zoopla.co.uk/house-prices/england/）这类高防护网站时，分页失效的根本原因并非代码逻辑错误，而是反爬机制提前拦截。该站点使用 Cloudflare Bot Management，当检测到连续、高频、无真实用户行为特征的页面跳转（如快速点击“Next”），会在第 20–30 页左右返回验证页（如 “Checking you are human…”），导致后续 find_element 失败、current_url 不变、staleness_of 等待超时——这正是原始脚本“只爬第一页就停止”的真实原因。

要构建稳定分页流程，需同时解决三大关键问题：

Cookie 同意弹窗拦截：Zoopla 使用 Shadow DOM 封装 Cookie 拒绝按钮（#usercentrics-root），普通 CSS 选择器无法穿透；
Cloudflare 的静默拦截：翻页后若 driver.current_url 未更新，即表明已进入验证流程，应立即终止；
元素定位鲁棒性：避免依赖易变 class 名（如 _1hzil3o9），优先使用语义化属性（如 data-testid, aria-live）。

以下为生产级优化方案（已通过实测）：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from undetected_chromedriver import Chrome
from selenium.webdriver.remote.webelement import WebElement
from selenium.webdriver.remote.webdriver import WebDriver
from selenium.common.exceptions import TimeoutException, NoSuchElementException
from selenium.webdriver.common.action_chains import ActionChains
from typing import cast, Iterator

URL = "https://www.zoopla.co.uk/house-prices/england/?new_homes=include&q=england+&orig_q=united+kingdom&view_type=list&pn=1"
TIMEOUT = 5

def etext(e: WebElement) -> str:
    if e:
        if t := e.text.strip():
            return t
        if (p := e.get_property("textContent")) and isinstance(p, str):
            return p.strip()
    return ""

def click(driver: WebDriver, e: WebElement) -> None:
    ActionChains(driver).move_to_element(e).click().perform()

def get_all(driver: WebDriver, css: str) -> Iterator[WebElement]:
    wait = WebDriverWait(driver, TIMEOUT)
    ec = EC.presence_of_all_elements_located
    sel = By.CSS_SELECTOR, css
    try:
        yield from wait.until(ec(sel))
    except TimeoutException:
        pass

def click_next(driver: WebDriver) -> bool:
    """返回是否成功点击 Next；失败则返回 False"""
    for a in get_all(driver, "a[aria-live='polite'] > div > div:nth-child(2)"):
        if etext(a) == "Next":
            try:
                click(driver, a)
                return True
            except Exception:
                return False
    return False

def get_shadow_root(driver: WebDriver) -> WebDriver | None:
    wait = WebDriverWait(driver, TIMEOUT)
    sel = By.ID, "usercentrics-root"
    try:
        sre = wait.until(EC.presence_of_element_located(sel))
        return cast(WebDriver, sre.shadow_root)
    except TimeoutException:
        return None

def accept_or_reject_cookies(driver: WebDriver) -> None:
    shadow = get_shadow_root(driver)
    if not shadow:
        return
    try:
        wait = WebDriverWait(shadow, TIMEOUT)
        button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, "button[data-testid='uc-deny-all-button']")))
        click(driver, button)  # 注意：此处传入的是外层 driver，非 shadow
    except Exception:
        pass  # Cookie 弹窗可能未出现，忽略

if __name__ == "__main__":
    result = []
    with Chrome(headless=False, use_subprocess=True) as driver:  # headless=True 可提升速度，但调试建议设为 False
        driver.get(URL)
        accept_or_reject_cookies(driver)

        prev_url = ""
        npages = 0
        print("Starting pagination...")

        while prev_url != driver.current_url and npages <p><strong>关键注意事项</strong>：</p>

✅ 必须使用 undetected_chromedriver v3+：uc.Chrome() 可有效规避基础指纹检测，Chrome() 原生驱动极易被 Cloudflare 拦截；
✅ 禁用 headless=True 初期调试：可视化模式便于观察 Cookie 弹窗、验证页是否出现；
⚠️ 勿依赖 staleness_of 判断翻页完成：Cloudflare 页面可能 DOM 结构不变但内容为空，应以 current_url 变化为核心判据；
⚠️ 添加 npages 安全上限：防止因网络波动导致 URL 未及时更新而死循环；
? 数据提取优先使用 data-testid 属性：Zoopla 明确维护该属性，远比动态 class（如 _1hzil3o9）稳定；
? 真实用户行为模拟：代码中 move_to_element().click() 比直接 .click() 更贴近人工操作，降低风控概率。