Selenium 元素查找无硬性数量限制,但需确保页面加载完成

梦萱酱_7796

梦萱酱_7796

2026-09-05

712人浏览

原创

selenium 元素查找无硬性数量限制,但需确保页面加载完成

Selenium 本身对 find_elements 查找的元素数量没有内置上限,实际获取不全通常源于页面动态加载未完成就执行查找——需配合显式等待(Explicit Wait)确保目标元素全部可见并稳定渲染。

selenium 元素查找无硬性数量限制,但需确保页面加载完成

在使用 Selenium 进行网页数据抓取时,一个常见误区是认为 find_elements() 方法存在隐式的数量上限(例如“最多返回 99 个”)。实际上,Selenium 本身对可查找到的元素数量没有任何硬性限制。你遇到的始终只捕获约 99 个 .iiDzWW 容器(而非全部约 210 个),根本原因并非框架限制,而是页面内容为动态加载(如通过 JavaScript 分批渲染、懒加载或滚动触发展开),而你的脚本在元素尚未全部出现在 DOM 中时就已执行了查找操作。

当前代码中仅使用 time.sleep(5) 属于盲目等待(blind wait),既不可靠也不高效:5 秒可能过短(部分区块尚未加载),也可能过长(浪费资源),且无法感知真实加载状态。

✅ 正确做法:使用 显式等待(Explicit Wait),配合 expected_conditions 精确等待目标元素群体完全可见并可交互:

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time

chrome_driver_path = r"C:\Users\damon\OneDrive\code\chromedriver-win64\chromedriver.exe"
service = Service(chrome_driver_path)
driver = webdriver.Chrome(service=service)

try:
    driver.get('https://www.supersportbet.com/sportsbook/')

    # 显式等待:直到至少 200 个 .iiDzWW 元素全部可见(可根据页面预估调整)
    wait = WebDriverWait(driver, 15)  # 最长等待 15 秒
    bet_containers = wait.until(
        EC.visibility_of_all_elements_located((By.CLASS_NAME, "iiDzWW"))
    )

    print(f"✅ 成功定位 {len(bet_containers)} 个投注容器(预期 ~210)")

    all_bets_info = []
    for idx, bet_container in enumerate(bet_containers):
        try:
            teams = bet_container.find_elements(By.CLASS_NAME, "blaZP")
            if len(teams) <p>? <strong>关键注意事项:</strong>  </p>
  • 避免 time.sleep():它无法响应页面真实状态,易导致漏抓或超时;显式等待才是健壮方案。
  • 检查选择器稳定性:.iiDzWW、.blaZP 等类名可能随前端更新变动,建议结合 data-* 属性或更语义化定位策略(如 By.CSS_SELECTOR 配合属性筛选)。
  • 处理滚动加载:若目标元素需滚动才出现,应在等待前执行 driver.execute_script("window.scrollTo(0, document.body.scrollHeight);") 并加入滚动后等待逻辑。
  • 增加容错与日志:如示例中对 teams 长度校验、span 查找异常捕获,可显著提升脚本鲁棒性。

总结:不是 Selenium “找不到”,而是你“没等够”。用对 WebDriverWait + expected_conditions,即可稳定获取全部动态渲染元素。

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
软件测试常用工具
软件测试常用工具

软件测试常用工具有Selenium、JUnit、Appium、JMeter、LoadRunner、Postman、TestNG、LoadUI、SoapUI、Cucumber和Robot Framework等等。测试人员可以根据具体的测试需求和技术栈选择适合的工具,提高测试效率和准确性 。

2023.10.13

4350

8

java测试工具有哪些
java测试工具有哪些

java测试工具有JUnit、TestNG、Mockito、Selenium、Apache JMeter和Cucumber。php还给大家带来了java有关的教程,欢迎大家前来学习阅读,希望对大家能有所帮助。

2023.10.23

2741

10

LLVM自定义Pass怎么写
LLVM自定义Pass怎么写

本专题聚焦LLVM自定义Pass开发,整理Pass类结构、run()方法、PreservedAnalyses、CMake构建、插件注册、-load-pass-plugin加载和测试用例编写流程。

2026.09.30

120

10

LLVM RISC-V参数配置教程
LLVM RISC-V参数配置教程

本专题介绍LLVM对RISC-V基础ISA和扩展的支持方式,涵盖RV32、RV64、标准扩展、实验性扩展、厂商扩展、-menable-experimental-extensions和版本差异。

2026.09.30

100

14

LLVM IR中间表示入门指南
LLVM IR中间表示入门指南

本专题整理LLVM IR的核心概念,包括中间表示作用、模块结构、函数、基本块、SSA形式、类型系统和常见语法,帮助新手理解LLVM编译流程中的关键层。

2026.09.30

80

12

PDF转图片方法
PDF转图片方法

需要把 PDF 页面用于上传、预览、分享或图片归档时,PDF 转图片方法专题整理 JPG/PNG 格式选择、逐页导出、清晰度设置、批量下载和结果检查等流程,帮助用户稳定完成 PDF 图片化处理。

2026.09.30

60

26

PixTV AI视频生成与无限画布创作
PixTV AI视频生成与无限画布创作

PixTV专题整理AI视频与视觉内容创作相关功能使用教程,涵盖AI生图、视频生成、无限画布、多模型创作、素材管理、声音音乐及视频剪辑等功能,帮助用户快速掌握PixTV从创意到成片的完整制作方法。

2026.09.29

80

15

Buffalo框架数据库开发全教程
Buffalo框架数据库开发全教程

本专题围绕Buffalo框架数据库开发,讲解database.yml多环境配置、soda与fizz迁移生成回滚、模型结构体标签、增删改查与条件查询、一对多与多对多关联、数据校验、回调钩子、事务处理及原生SQL执行能力。

2026.09.23

280

15

Buffalo框架路由与请求处理实操指南
Buffalo框架路由与请求处理实操指南

本专题讲解Buffalo框架路由与请求处理机制,涵盖路由注册与分组、资源路由、Handler编写规范、Context上下文方法、参数绑定、中间件编写挂载、Session与Cookie读写、Flash消息及错误页面定制方法。

2026.09.23

180

15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.6万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 133.4万人学习