如何使用Python和Requests-HTML实现渲染JS的自动化采集?

夜芳酱_8196

夜芳酱_8196

2026-07-01

505人浏览

原创

requests-html首次调用render()会自动下载chromium导致卡顿或报错,根本原因是pyppeteer默认从github直连下载约100mb的chromium,国内网络常超时或ssl失败;解决方法是手动下载对应系统版本的chromium并设置pyppeteer_home环境变量或使用pyppeteer-install指定路径。

如何使用python和requests-html实现渲染js的自动化采集?

requests-html 能直接渲染 JavaScript,但不是“开箱即用”——首次调用 render() 会自动下载 Chromium,后续才真正轻量。它适合中低频、无需复杂交互的 JS 渲染采集,比 Selenium 快、比纯 requests 全。

render() 第一次运行卡住或报错怎么办

这是最常遇到的问题:程序停在 r.html.render() 不动,或抛出 pyppeteer.errors.BrowserError / FileNotFoundError: chromium。

根本原因是 pyppeteer(requests-html 底层依赖)首次运行需下载 Chromium,约 100MB,走的是 GitHub Release 链接,国内直连极慢甚至超时。

  • 手动下载 Chromium:访问 https://github.com/puppeteer/puppeteer/releases,找最新版 chromium-browser-snapshots 对应的 Linux_x64 或 Win64 包,解压后把 chrome-win/chrome.exe(Windows)或 chrome-linux/chrome(Linux)路径记下来
  • 设置环境变量:os.environ["PYPPETEER_HOME"] = "/path/to/your/chromium",再运行脚本
  • 或改用离线安装方式:pyppeteer-install --chromium-executable-path /path/to/chrome
  • 别用 verify=False 绕过 SSL 验证来“加速”,这和 Chromium 下载无关,反而可能引发证书错误

render() 参数怎么选:wait、sleep、scrolldown 的真实作用

wait 和 sleep 容易混淆:前者是「等待页面加载完成后的静默时间」(单位秒),后者是「执行完 JS 后强制休眠」(单位秒)。实际中 wait=1.0 已覆盖多数简单页面;sleep 一般不用,除非目标站点有滚动触底才加载的逻辑。

python 查询技能
python 查询技能

查询客流数据,输出JSON格式,可直接导入Bitable等可视化工具

下载
  • scrolldown=3 表示滚动到底部 3 次(每次间隔默认 wait 秒),适用于无限滚动列表
  • timeout=15.0 必须设大一点,尤其网络不稳定时,默认 8 秒太激进,容易抛 TimeoutError
  • reload=False 可避免重复请求,但仅在你确认页面已加载完毕、只需重执行 JS 时才启用
  • 不要传 script 参数去注入自定义 JS,除非你真需要点击按钮或触发事件——这时不如直接用 page 对象(见下一条)

需要点击、填表单、处理登录时,别只靠 render()

render() 是“渲染快照”,不保留可交互的浏览器上下文。一旦调用结束,底层 page 实例就被销毁。所以它无法链式操作:比如先 render(),再找按钮 .click(),会报 AttributeError: 'Page' object has no attribute 'click'(因为 page 已关)。

  • 必须显式开启 keep_page=True,才能拿到可操作的 page 对象:r.html.render(keep_page=True); page = r.html.page
  • 然后用 page.click('button#login')、page.type('#username', 'user')、page.wait_for_selector('.loaded') 等 Pyppeteer 原生方法
  • 注意:此时你已绕过 requests-html 封装,得按 Pyppeteer 文档写法,比如 wait_for_navigation() 要配合 async + await,而 requests-html 默认是同步接口
  • 这种混合用法会失去 requests-html 的简洁性,真有复杂流程建议直接切到 Playwright 或 Pyppeteer

为什么有时候 render() 后还是拿不到动态内容

不是所有 JS 渲染都靠 DOM 插入——有些数据藏在 window.__INITIAL_STATE__ 或 fetch 请求返回的 JSON 里,render() 只管 HTML 输出,不抓网络请求。

  • 先检查是否真需要渲染:用浏览器打开目标页 → 右键“查看网页源代码”,如果关键内容已存在,就根本不用 render()
  • 如果源码里只有空容器(如 <div id="app"></div>),再确认渲染后是否出现:加一句 print(r.html.html[:500]) 看前 500 字符
  • 若仍为空,大概率是反爬拦截了 Chromium 请求头,试试加 headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"} 到 session.get()
  • 更隐蔽的情况:JS 加载依赖 Cookie 或 localStorage,而 requests-html 默认不持久化这些,此时需手动注入:r.html.session.cookies.set("token", "xxx")
render() 的边界很清晰:它解决的是“HTML 被 JS 改写”的问题,不是“如何模拟完整用户行为”的问题。一旦涉及多步跳转、鉴权态维持、WebSocket 推送或 Canvas 渲染内容,就得换工具。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关文章

HTML速学教程(入门课程)
HTML速学教程(入门课程)

HTML怎么学习?HTML怎么入门?HTML在哪学?HTML怎么学才快?不用担心,这里为大家提供了HTML速学教程(入门课程),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

python html js

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1691

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

4264

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1689

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

24817

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3027

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3047

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1163

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

596

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2363

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程