本文详解 selenium 元素定位失败的常见原因（如动态加载、选择器过时、未等待元素就绪），并提供基于显式等待与健壮 css 选择器的可靠解决方案，附可直接运行的完整示例代码。
本文详解 selenium 元素定位失败的常见原因（如动态加载、选择器过时、未等待元素就绪），并提供基于显式等待与健壮 css 选择器的可靠解决方案，附可直接运行的完整示例代码。
在使用 Selenium 抓取 Zoopla 等现代房产网站时，find_elements(By.CLASS_NAME, "...") 返回空列表或抛出 NoSuchElementException 是高频问题。根本原因并非代码语法错误，而是忽略了现代网页的三大特性：异步加载（AJAX）、动态 DOM 渲染、以及服务端渲染（SSR）/客户端渲染（CSR）混合结构。
你原始代码存在多个关键缺陷：
-
硬编码 XPath 过于脆弱：
.//*[@id="main-content"]/.../h2依赖绝对路径和固定 ID，而 Zoopla 页面结构频繁更新，且id="main-content"可能重复或动态生成； -
未等待元素加载完成：页面内容由 JavaScript 异步注入，
driver.get()后立即执行查找，此时目标元素尚未渲染； -
CLASS_NAME 不支持多类名匹配：
By.CLASS_NAME("w6xkpv1 w6xkpv4")会报错，因为By.CLASS_NAME仅接受单个类名（应改用By.CSS_SELECTOR或By.XPATH）； - 缺乏异常处理与容错机制：未处理元素为空、文本为空或属性缺失等边界情况。
✅ 推荐方案：采用 显式等待（WebDriverWait） + 语义化 CSS 选择器 + 容错文本提取函数，大幅提升稳定性与可维护性。
以下为优化后的完整实现：
from selenium.webdriver import Chrome
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
def safe_text(element):
"""安全提取元素文本，兼容 text、textContent 和 innerText"""
if not element:
return ""
# 优先尝试 .text（触发可见性检查）
if text := element.text.strip():
return text
# 回退到 get_property("textContent")
if content := element.get_property("textContent"):
if isinstance(content, str):
return content.strip()
return ""
url = "https://www.zoopla.co.uk/house-prices/england/?new_homes=include&q=england+&orig_q=united+kingdom&view_type=list&pn=1"
with Chrome() as driver:
driver.get(url)
wait = WebDriverWait(driver, 10) # 最长等待 10 秒
# ✅ 使用 data-testid —— Zoopla 官方预留的稳定定位标识
# 定位所有结果项中的 <h2> 标题（即房屋地址）
selector = "div[data-testid='result-item'] h2"
try:
# 等待所有匹配的 <h2> 元素出现在 DOM 中（不强制可见）
address_headers = wait.until(
EC.presence_of_all_elements_located((By.CSS_SELECTOR, selector))
)
print(f"成功找到 {len(address_headers)} 个房屋地址：")
for idx, h2 in enumerate(address_headers, 1):
addr = safe_text(h2)
print(f"{idx}. {addr}")
except TimeoutException:
print("❌ 超时：未在 10 秒内找到任何房屋地址元素，请检查网络或页面结构是否变更。")
except Exception as e:
print(f"❌ 执行异常：{type(e).__name__} - {e}")</h2>
</h2>
? 关键实践建议：
-
优先使用
data-testid、data-cy等测试属性：它们由开发团队专为自动化设计，比 class 或 XPath 更稳定； -
避免 XPath 绝对路径：改用相对、语义化表达，如
//div[@data-testid='result-item']//h2； -
始终配合显式等待：
presence_of_all_elements_located（存在 DOM）或visibility_of_all_elements_located（可见）按需选用； -
封装
safe_text()类函数：规避.text在隐藏元素上返回空字符串的问题； -
使用上下文管理器
with Chrome() as driver:：确保浏览器自动关闭，防止资源泄漏。
通过以上重构，你的爬虫将具备生产级鲁棒性——即使页面微调 class 名或 DOM 层级，只要 data-testid="result-item" 和 <h2></h2> 结构保留，代码仍可持续运行。
