在WebStorm中运行Puppeteer自动化爬虫脚本

落明同学_5142

落明同学_5142

2026-06-11

736人浏览

原创

根本原因是webstorm默认以调试模式启动脚本,触发puppeteer自动启用远程调试端口并等待连接,造成launch()阻塞;需取消“with javascript debugger”或在launch选项中显式禁用调试。

在webstorm中运行puppeteer自动化爬虫脚本

为什么 puppeteer.launch() 在 WebStorm 里卡住或报 timeout?

根本原因通常是 WebStorm 默认用 Node.js 的调试模式(debug)启动脚本,而 Puppeteer 启动 Chromium 时会检测到调试器存在,自动启用 --remote-debugging-port 并等待调试连接,导致阻塞。这不是代码问题,是启动方式冲突。

  • 临时解决:在 WebStorm 的「Run Configuration」中,取消勾选 “With JavaScript debugger”
  • 更稳妥的做法:在 launch() 选项里显式禁用远程调试,例如:
    await puppeteer.launch({ headless: true, args: ['--no-sandbox', '--disable-setuid-sandbox'] });
  • 如果仍超时,检查是否启用了 WebStorm 的「Node.js Core Library」自动注入(Settings → Languages & Frameworks → Node.js and NPM),关闭它可避免某些 hook 干扰进程启动

WebStorm 调试 Puppeteer 时页面打不开或 page.goto() 报 net::ERR_CONNECTION_REFUSED

这是 Chromium 实例被意外复用或端口残留导致的典型现象,尤其在反复调试、强制终止后。

智能网页爬虫
智能网页爬虫

智能网页数据采集器,自动识别页面结构,批量抓取列表/表格/详情页数据,支持导出JSON/CSV/Excel,内置反爬策略适配。

下载
  • 每次调试前,在终端手动执行:
    pkill -f "chrome.*headless"
    (macOS/Linux)或任务管理器杀掉所有 chrome.exe 进程(Windows)
  • 不要依赖 browser.close() 自动清理——WebStorm 调试中断时它可能没执行。改用 process.on('exit') 或 try/finally 包裹 browser.close()
  • 在 launch() 中加上 executablePath 显式指定 Chromium 路径(比如 node_modules/puppeteer/.local-chromium/...),避免系统全局 Chrome 干扰

如何让 WebStorm 正确识别 page.$$eval() 等新 API 的类型提示?

WebStorm 默认只加载 Node.js 内置类型,Puppeteer 的类型定义需要手动关联,否则会出现“unresolved function”警告或无补全。

  • 确认项目已安装类型包:
    npm install --save-dev @types/puppeteer
  • 在 WebStorm 中右键 node_modules/@types/puppeteer → “Mark as Plain Text” 取消勾选(确保它是“Library root”)
  • 检查 Settings → Languages & Frameworks → JavaScript → Libraries,确认 @types/puppeteer 已出现在列表中且状态为 “Active”
  • 若仍无提示,尝试 File → Invalidate Caches and Restart → “Invalidate and Restart”

运行时报错 Failed to launch chrome! spawn ENOENT

不是 Chromium 没下载,而是 WebStorm 启动脚本时的 PWD(当前工作目录)和 package.json 不在同一层,导致 Puppeteer 找不到本地 Chromium 二进制文件。

  • 在 Run Configuration 的 “Working directory” 栏明确填入项目根路径,例如:
    $ProjectFileDir$
  • 避免使用相对路径如 ./ 或空值——WebStorm 有时会默认设成 IDE 安装目录
  • 验证 Chromium 是否真存在:
    ls node_modules/puppeteer/.local-chromium/
    (Linux/macOS)或查看对应 Windows 文件夹下是否有子目录
  • 如仍失败,可临时降级到稳定版 Puppeteer:
    npm install puppeteer@19.11.1
    (新版对环境变量更敏感)
WebStorm 对 Puppeteer 的支持其实挺直接,但关键点都在“启动上下文”里——它不关心你写的是不是爬虫,只认 Node.js 进程怎么起、Chromium 怎么连、类型定义往哪找。最容易被忽略的是 Working directory 和调试模式开关,这两个设错,其他都白调。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

webstorm 爬虫

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
webstorm怎么放大
webstorm怎么放大

webstorm 提供四种放大代码编辑器的方法:键盘快捷键:ctrl/cmd + plus菜单:查看 > 缩放 > 放大工具栏:缩放按钮鼠标滚轮:按住 ctrl/cmd 滚动。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.08

1242

8

webstorm闪退怎么解决
webstorm闪退怎么解决

解决 webstorm 闪退问题的步骤:检查更新;重新启动计算机;禁用插件;重置设置;清除缓存;检查防火墙和防病毒软件;重新安装 webstorm;联系支持团队。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.08

1087

6

webstorm运行不了文件的原因
webstorm运行不了文件的原因

webstorm无法运行文件的原因:node.js 版本不匹配;文件路径错误;环境变量未设置;文件依赖项丢失;权限问题;防火墙拦截;webstorm 插件冲突;webstorm 错误。想了解更多webstorm的相关内容,可以阅读本专题下面的文章。

2024.04.08

3662

12

webstorm调节字体大小
webstorm调节字体大小

可以通过三种方法调整 webstorm 的字体大小:快捷键(windows/linux:ctrl + alt + (+或-);macos:cmd + alt + (+或-))、菜单(文件 > 设置 > 外观与行为 > 外观 > ide 字体大小)、注册表(仅限 windowshkey_current_user\software\jetbrains\webstorm\192.7785.53\options\edit

2024.04.08

1342

13

webstorm创建html的方法
webstorm创建html的方法

webstorm创建html项目分五步:创建新项目并配置 html 设置;添加新 html 文件;编写 html 代码并利用实时预览;预览 html 文件并进行部署;使用模板和 emmet 快捷方式加快开发。想了解更多webstorm的相关内容,可以阅读本专题下面的文章。

2024.04.08

4870

12

webstorm新建文件夹方法
webstorm新建文件夹方法

webstorm新建文件夹方法:在项目视图中导航到目标位置;右键单击并选择“新建”>“文件夹”;输入文件夹名称并单击“确定”。想了解更多webstorm的相关内容,可以阅读本专题下面的文章。

2024.04.08

1295

12

webstorm启动项目方法
webstorm启动项目方法

启动方法:1、打开webstorm:启动 webstorm 应用程序;2、创建或打开项目:创建新项目或打开现有项目;3、配置项目:选择项目类型和解释器,配置其他项目设置;4、开始编码:创建文件并编写代码,webstorm 将自动提供代码功能;5、运行项目:右键单击相关文件并选择“启动文件”或“启动”。

2024.04.08

3533

11

webstorm改中文版
webstorm改中文版

更改方法:打开 webstorm 设置;导航到“appearance & behavior”>“language & fonts”;在“user interface language”中选择“chinese (simplified)”或“chinese (traditional)”;重启 webstorm界面将显示为中文。想了解更多webstorm的相关内容,可以阅读本专题下面的文章。

2024.04.08

4476

13

webstorm和idea有什么区别
webstorm和idea有什么区别

webstorm专为web开发量身定制,提供针对web开发语言的强大功能,而intellij idea是支持多种语言的多功能ide。它们的差异主要在于语言支持、web开发特性、代码导航、调试和测试功能、附加特性。最终选择取决于语言偏好和项目需求。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.09

7408

6

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程