Python爬虫如何抓取JS渲染的数据_使用Pyppeteer替换Selenium-Python教程-PHP中文网

pyppeteer启动失败主因是chromium下载失败或路径未指定，应显式设置executablepath；goto后需用waitforselector或waitforfunction等待js渲染完成；混用requests需手动导出cookies；必须用try/finally确保browser.close()释放内存。

python爬虫如何抓取js渲染的数据_使用pyppeteer替换selenium

Pyppeteer 启动失败：找不到 Chrome 或 Chromium

Pyppeteer 默认尝试自动下载 Chromium，但国内网络常导致下载卡死或校验失败，表现为 TimeoutError 或 OSError: Executable doesn't exist。

直接复用系统已安装的 Chrome 最稳：

确认 Chrome 版本 ≥ 80（chrome --version）
启动时显式指定路径：browser = await launch(executablePath='/Applications/Google Chrome.app/Contents/MacOS/Google Chrome')（macOS）；Windows 路径类似 C:\Program Files\Google\Chrome\Application\chrome.exe
加 headless=False 先肉眼验证是否真能打开，避免黑盒调试

页面没等 JS 渲染完就取数：`page.content()` 返回空或静态 HTML

Pyppeteer 的 goto() 只保证 HTML 加载完成，不保证 JS 执行完毕。常见现象是拿到的 innerHTML 里还全是 <div id="app"></div> 或 loading 占位符。

必须手动等关键节点出现或网络空闲：

等某个元素渲染出来：await page.waitForSelector('#product-list li', timeout=10000)
等所有 XHR 完成（适合数据由 API 填充）：await page.waitForFunction('window.performance.getEntriesByType("resource").filter(r => r.name.includes("api/")).length > 0')
慎用 page.waitFor(2000) —— 网速一波动就失效，也拖慢整体速度

登录态丢失或 Cookie 不生效：Pyppeteer 和 Requests 混用时的坑

Pyppeteer 自带完整浏览器上下文，Cookie、localStorage、TLS 会话都自动维护。但很多人想“先用 Pyppeteer 登录，再用 Requests 请求 API”，结果 401 —— Requests 根本没继承任何状态。

Claw Code Suite (Python-Only Edition)

仅使用 Python 将 Claw Code 虚拟化框架与 OpenClaw 集成，提供 184 种工具和 200 多条命令，用于安全分析和代码质量...

下载

两种解法，选一个：

全程用 Pyppeteer：await page.goto('https://api.example.com/data') 再 page.content() 或 page.evaluate('() => JSON.stringify(window.apiData)')
如果非要用 Requests，得手动导出 Cookie：cookies = await page.cookies()，再转成 Requests 能认的格式（注意 expires 字段要删掉，否则 requests 会拒收）
别碰 page.setUserAgent() 后又用默认 UA 调 API —— 有些反爬会校验 UA 是否和登录时一致

内存暴涨、进程卡死：没正确关闭 browser 实例

Pyppeteer 的 browser 是真实 Chromium 进程，不关就会一直占着几百 MB 内存，跑几十次就 OOM。错误写法是只写 page.close()，漏掉 browser.close()。

务必用 try/finally 或 async with 确保释放：

browser = await launch(...)
try:
    page = await browser.newPage()
    await page.goto('...')
    # ... 抓取逻辑
finally:
    await browser.close()

更稳妥的做法是加超时控制：await browser.close(timeout=5000)，防止进程僵死。

复杂点在于：Pyppeteer 的 launch() 如果传了 ignoreHTTPSErrors=True，某些证书异常页可能让 page hang 住，这时候 browser.close() 也会卡 —— 需提前设好 defaultViewport 和 args，比如 --no-sandbox（Linux）、--disable-setuid-sandbox（Docker）