Web scraping skill using Chrome + WebMCP

Polar Sponsor
爱发电 赞助
.NET 9.0

使用 Chrome + WebMCP 进行网页抓取,是所有网页爬虫任务的主要方法。

蜘蛛 — Web 擦拭工具

功能概述

蜘蛛 — Web 擦拭工具是一项面向实际任务的技能,主要用于这是默认的擦拭网页方法, 取代了更旧的方法, 如 web fatch..;Trigger 条件;

核心要点

  • 当用户说:.;
  • Keywords.;
  • Action / craw/ scra。

使用与执行

它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。使用时应结合输入条件选择合适的执行方式,核对必要参数、依赖环境与输出内容,并按原始要求处理异常情况。该技能适合需要稳定复用相关能力的场景,可作为自动化工作流的一部分,也便于后续检查、调整和扩展。从功能定位来看,该技能强调把分散的操作要求整理成清晰、可复用的处理流程,使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。

结果检查与注意事项

实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数,再依据技能说明逐步执行;若输入条件不完整,应先补齐信息或采用保守配置,避免因错误假设导致结果偏离需求。执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期,并对异常提示、缺失字段和边界情况进行处理;涉及批量任务时,还应保存进度,避免中断后重复操作。

Spider — 网络爬虫工具

这是默认的网页抓取方式,用于替代旧方法(如 web_fetch)。

触发条件

当用户输入中包含以下关键词时,请使用该技能:

关键词 操作
抓取 / crawl / scrape / fetch 使用 Chrome + WebMCP 抓取网页内容
采集 同上
获取...新闻 抓取新闻类网页
从...网站 指定需抓取的目标网站
同花顺 抓取 Tonghuashun(10jqka)数据
东方财富 抓取 East Money 数据
雪球 抓取 Xueqiu 数据
百度 搜索或抓取 Baidu 内容

使用示例

用户输入 执行动作
"抓取光库科技的新闻" 在 Chrome 中打开 Tonghuashun,提取相关新闻
"抓取宁德时代的股吧" 在 Chrome 中打开 East Money 股吧页面
"从同花顺抓取xxx" 在 Chrome 中打开 Tonghuashun 对应页面
"search xxx" 在 Chrome 中打开 Google 搜索页面
"查一下xxx" 在 Chrome 中执行搜索或抓取操作

操作流程

1. 检查 Chrome 状态

{ action: "status" }

若未运行,则启动 Chrome:

{ action: "start" }

2. 打开目标网页

{ action: "open", targetUrl: "https://stockpage.10jqka.com.cn/300620/news/", target: "host" }

3. 获取页面快照

{ action: "snapshot", targetId: "xxx", maxChars: 20000 }

4. 页面交互(点击、输入等)

{ action: "act", targetId: "xxx", request: {"kind": "click", ref: "e33"} }

5. 清理:返回到 about:blank

{ action: "navigate", targetId: "xxx", url: "about:blank" }

常用网站模板

同花顺股票新闻页

URL: https://stockpage.10jqka.com.cn/{stock_code}/news/
示例: https://stockpage.10jqka.com.cn/300620/news/

东方财富股吧(股票论坛)

URL: https://guba.eastmoney.com/list,{stock_code}.html
示例: https://guba.eastmoney.com/list,300620.html

雪球(Xueqiu)

URL: https://xueqiu.com/S/SZ{stock_code}
示例: https://xueqiu.com/S/SZ300620

百度新闻搜索

URL: https://www.baidu.com/s?wd={keyword}&tn=news

Chrome 初始化配置(仅需一次)

  1. 打开 Chrome 实验性功能设置页:
    • chrome://flags/#enable-experimental-web-platform-features → 启用
    • chrome://flags/#enable-webmcp-testing → 启用
  2. 完全退出 Chrome(macOS 使用 Cmd+Q),然后重新启动

重要规则

  1. 始终使用 target="host",而非 "sandbox"
  2. 每次任务完成后必须执行清理:
    • 若存在多个标签页,仅保留一个标签页,其余全部关闭
    • 剩余标签页必须导航至 about:blank
    • 若存在多个 about:blank 标签页,仅保留最新打开的一个,其余全部关闭
    • 可通过 browser action: tabs 查询当前所有标签页状态
    • 清理完成后,确保仅有一个 about:blank 标签页处于打开状态
  3. 复用已有标签页,避免频繁新建标签页
  4. 应对反爬网站:同花顺、东方财富等站点需等待完整 JavaScript 加载完成后再进行操作

错误处理

错误类型 解决方案
Sandbox 不可用 改用 target="host"
页面加载缓慢 等待 snapshot 返回后再执行后续操作
内容提取失败 增大 snapshot 的 maxChars 参数以获取更多内容
遭遇反爬机制拦截 尝试其他财经网站,或稍后重试

默认抓取优先级

  1. Spider(Chrome + WebMCP) ← 主要方法

    • 适用场景:金融类网站、股票新闻、论坛等
    • 优势:支持完整 JavaScript 渲染,具备交互能力
  2. web_fetch ← 备用方法

    • 适用场景:简单静态网页
    • 劣势:无法处理由 JavaScript 动态渲染的页面

相关专题

更多
GoFrame框架Web开发与路由中间件
GoFrame框架Web开发与路由中间件

本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

2026.11.17

0

15

GoFrame框架安装与gf命令行工具
GoFrame框架安装与gf命令行工具

本专题围绕GoFrame框架的安装与工具链配置展开,讲清Go版本要求、gf命令行的安装方式、代理镜像与依赖准备,说明项目初始化、热编译、交叉编译打包的做法,并整理安装阶段的常见报错与验证步骤。

2026.11.17

0

15

GoFrame框架零基础入门
GoFrame框架零基础入门

本专题整理GoFrame框架的入门知识,从模块化设计理念、环境准备到跑通第一个Web服务,讲清目录分层、配置加载、日志与中间件的用法,并对比Gin、Go-Zero的差异,帮助Go开发者建立整体认知。

2026.11.17

0

15

SQLAlchemy 一对多关系怎么建立
SQLAlchemy 一对多关系怎么建立

SQLAlchemy 一对多关系怎么建立?本专题整理父子表外键、relationship 双向映射、关联查询、级联删除和加载优化等相关文章,帮助你理解并实现常见的 ORM 关系建模。

2026.11.17

0

10

SQLAlchemy 如何增删改查
SQLAlchemy 如何增删改查

SQLAlchemy 如何增删改查?本专题整理 ORM 新增记录、条件查询、更新和删除、Session 事务提交与批量处理等实用文章,帮助你掌握 Python 数据库操作流程。

2026.11.17

0

11

SQLAlchemy ORM 模型怎么写
SQLAlchemy ORM 模型怎么写

SQLAlchemy ORM 模型怎么写?本专题整理模型类定义、Mapped 字段映射、主键与约束、表结构创建和常见报错的相关文章,帮助你从基础配置到实际建模逐步掌握 SQLAlchemy。

2026.11.17

0

16

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

2026.11.12

0

15

Go-Zero安装与goctl环境配置教程
Go-Zero安装与goctl环境配置教程

本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。

2026.11.12

0

15

Go-Zero零基础入门教程
Go-Zero零基础入门教程

本专题整理Go-Zero的入门知识,从框架定位、环境准备到跑通第一个API服务,讲清目录分层、配置加载、日志与中间件的基本用法,并对比Gin、Kratos的差异,帮助Go开发者建立整体认知,判断它是否适合当前项目。

2026.11.12

0

15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 134.3万人学习