如何在Python中利用DrissionPage高效抓取动态渲染页面?

胖萱君_8041

胖萱君_8041

2026-10-03

836人浏览

原创

drissionpage 启动白屏或超时需检查chrome与chromedriver版本匹配并显式指定浏览器类型;定位异步元素应优先用wait.ele_displayed()配合滚动和容器加载等待;iframe或shadow dom需特殊处理;分页抓取要复用browser、及时关闭page防内存泄漏。

如何在python中利用drissionpage高效抓取动态渲染页面?

DrissionPage 启动时页面白屏或加载超时怎么办

多数动态页面抓取失败,根源不在代码逻辑,而在浏览器初始化阶段。DrissionPage 默认使用本地 Chrome,若未正确配置 chromedriver 或 Chrome 版本不匹配,Browser 实例会卡在空白页,wait.ele_displayed() 等等待方法直接超时。

实操建议:

python-code-analyz
python-code-analyz

专业Python代码分析与优化,支持语法检查、安全扫描、性能评估、复杂度分析及重构后优化代码生成。

下载
  • 用 Browser(driver_or_options='chrome') 显式指定浏览器类型,避免自动探测失败
  • 启动前检查 Chrome 版本:chrome --version,再下载对应版本的 chromedriver(不是最新版!)
  • 添加启动参数屏蔽常见干扰:opt = ChromiumOptions().set_local_port(9222).set_argument('--disable-gpu').set_argument('--no-sandbox')
  • 首次运行加 timeout=30:如 browser = Browser(opt, timeout=30),防止默认 10 秒太短

如何精准定位异步加载后的元素(比如滚动后才出现的列表项)

DrissionPage 的 ele 方法默认只查初始 DOM,而动态内容往往由 JS 拉取并插入。直接 page.ele('xpath=//div[@class="item"]') 极可能返回 None,因为元素尚未渲染。

实操建议:

  • 优先用 wait.ele_displayed() 而非 wait.ele_exists():前者等元素可见(已渲染+在视口),后者只判 DOM 存在
  • 滚动触底触发加载时,用 page.scroll.to_bottom() 后接 wait.milliseconds(800)(不能太短,JS 渲染有延迟)
  • 对不确定是否已加载的容器,用 page.wait.eles_loaded('css=.list-container') 确保父节点就位,再查子元素
  • 避免写死等待时间,改用条件等待:page.wait.ele_displayed('text=立即购买', timeout=5)

为什么 page.get() 后调用 ele() 总是找不到目标,但手动打开开发者工具却能看到?

这是最常见的“页面已显示但元素不可见”陷阱。原因通常是:目标元素被包裹在 iframe 中、位于 Shadow DOM 内、或被 CSS display: none/visibility: hidden 隐藏——而 DrissionPage 默认不穿透这些边界。

实操建议:

  • 先确认是否在 iframe:用 page.frames 查看帧列表,再用 page.get_frame('name_or_index').ele('css=button')
  • 若元素在 Shadow DOM,需先获取宿主元素,再调用 .shadow_root.ele()(仅 Chromium 支持)
  • 检查是否被隐藏:用 ele.states.is_displayed 判断,若为 False,尝试 ele.scroll.to_see().click() 强制曝光
  • 禁用 CSS 动画干扰:启动时加参数 --disable-animations --disable-transition-animation

抓取大量分页时内存持续增长甚至崩溃

DrissionPage 的 page 对象持有完整浏览器上下文,反复 page.get(url) 不释放旧页面资源,尤其在循环中未显式关闭或切换,会导致内存泄漏。

实操建议:

  • 单页任务完成后,调用 page.close();若需保留当前页,用 page.new_tab(url) + tab.close() 管理标签页
  • 避免在 for 循环里反复 new Browser,应复用一个 Browser 实例,用 browser.latest_tab 或 browser.tabs[0] 获取页面
  • 对纯数据提取场景,考虑用 session = Session() 先试静态接口(如 XHR 请求),比驱动浏览器更轻量
  • 监控内存:在关键位置加 import gc; gc.collect(),尤其在每 10 页后
DrissionPage 的优势在于封装了 Selenium 和 requests 的混合能力,但它的“智能等待”和“自动重试”机制容易掩盖底层问题。真正稳定的抓取逻辑,往往建立在对页面加载生命周期的明确判断上——比如知道某个按钮何时可点、某段数据何时注入 DOM,而不是依赖 wait.ele_clickable() 的模糊语义。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

python

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1631

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

4024

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1629

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

23177

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2847

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2887

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1123

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

596

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2223

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程