使用 Chrome + WebMCP 进行网页抓取,是所有网页爬虫任务的主要方法。
蜘蛛 — Web 擦拭工具是一项面向实际任务的技能,主要用于这是默认的擦拭网页方法, 取代了更旧的方法, 如 web fatch..;Trigger 条件;
它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。使用时应结合输入条件选择合适的执行方式,核对必要参数、依赖环境与输出内容,并按原始要求处理异常情况。该技能适合需要稳定复用相关能力的场景,可作为自动化工作流的一部分,也便于后续检查、调整和扩展。从功能定位来看,该技能强调把分散的操作要求整理成清晰、可复用的处理流程,使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。
实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数,再依据技能说明逐步执行;若输入条件不完整,应先补齐信息或采用保守配置,避免因错误假设导致结果偏离需求。执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期,并对异常提示、缺失字段和边界情况进行处理;涉及批量任务时,还应保存进度,避免中断后重复操作。
这是默认的网页抓取方式,用于替代旧方法(如 web_fetch)。
当用户输入中包含以下关键词时,请使用该技能:
| 关键词 | 操作 |
|---|---|
| 抓取 / crawl / scrape / fetch | 使用 Chrome + WebMCP 抓取网页内容 |
| 采集 | 同上 |
| 获取...新闻 | 抓取新闻类网页 |
| 从...网站 | 指定需抓取的目标网站 |
| 同花顺 | 抓取 Tonghuashun(10jqka)数据 |
| 东方财富 | 抓取 East Money 数据 |
| 雪球 | 抓取 Xueqiu 数据 |
| 百度 | 搜索或抓取 Baidu 内容 |
| 用户输入 | 执行动作 |
|---|---|
| "抓取光库科技的新闻" | 在 Chrome 中打开 Tonghuashun,提取相关新闻 |
| "抓取宁德时代的股吧" | 在 Chrome 中打开 East Money 股吧页面 |
| "从同花顺抓取xxx" | 在 Chrome 中打开 Tonghuashun 对应页面 |
| "search xxx" | 在 Chrome 中打开 Google 搜索页面 |
| "查一下xxx" | 在 Chrome 中执行搜索或抓取操作 |
{ action: "status" }
若未运行,则启动 Chrome:
{ action: "start" }
{ action: "open", targetUrl: "https://stockpage.10jqka.com.cn/300620/news/", target: "host" }
{ action: "snapshot", targetId: "xxx", maxChars: 20000 }
{ action: "act", targetId: "xxx", request: {"kind": "click", ref: "e33"} }
{ action: "navigate", targetId: "xxx", url: "about:blank" }
URL: https://stockpage.10jqka.com.cn/{stock_code}/news/
示例: https://stockpage.10jqka.com.cn/300620/news/
URL: https://guba.eastmoney.com/list,{stock_code}.html
示例: https://guba.eastmoney.com/list,300620.html
URL: https://xueqiu.com/S/SZ{stock_code}
示例: https://xueqiu.com/S/SZ300620
URL: https://www.baidu.com/s?wd={keyword}&tn=news
chrome://flags/#enable-experimental-web-platform-features → 启用chrome://flags/#enable-webmcp-testing → 启用about:blankabout:blank 标签页,仅保留最新打开的一个,其余全部关闭browser action: tabs 查询当前所有标签页状态about:blank 标签页处于打开状态| 错误类型 | 解决方案 |
|---|---|
| Sandbox 不可用 | 改用 target="host" |
| 页面加载缓慢 | 等待 snapshot 返回后再执行后续操作 |
| 内容提取失败 | 增大 snapshot 的 maxChars 参数以获取更多内容 |
| 遭遇反爬机制拦截 | 尝试其他财经网站,或稍后重试 |
Spider(Chrome + WebMCP) ← 主要方法
web_fetch ← 备用方法
相关专题
热门下载
相关下载
精品课程
共6课时 | 54.7万人学习
共89课时 | 134.3万人学习
共49课时 | 82.7万人学习
最新文章