使用 web_fetch 提取简单页面的结构化信息，使用浏览器自动化处理动态页面、登录受限流程、分页、无限滚动等。
Web Scraping : 首先用最轻的可靠方法提取数据
功能概述
Web Scraping : 首先用最轻的可靠方法提取数据是一项面向实际任务的技能，主要用于当需要的内容已经用在 HTML 中时, 请使用 web fatch 来创建简单的公共页面；在网站使用浏览器时使用。
核心要点
- 它将相关步骤、工具调用和结果整理方式集中到统一流程中，帮助使用者更快完成目标并减少重复操作。
- 使用时应结合输入条件选择合适的执行方式，核对必要参数、依赖环境与输出内容，并按原始要求处理异常情况。
- 该技能适合需要稳定复用相关能力的场景，可作为自动化工作流的一部分，也便于后续检查、调整和扩展。
使用与执行
从功能定位来看，该技能强调把分散的操作要求整理成清晰、可复用的处理流程，使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数，再依据技能说明逐步执行；
结果检查与注意事项
若输入条件不完整，应先补齐信息或采用保守配置，避免因错误假设导致结果偏离需求。执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期，并对异常提示、缺失字段和边界情况进行处理；涉及批量任务时，还应保存进度，避免中断后重复操作。
网络爬虫（Web Scraping）
优先采用最轻量且可靠的方法提取数据。
选择合适的方式
- 当目标内容已直接存在于 HTML 中，且页面为简单公开页面时，使用
web_fetch。 - 当网站具有动态特性（如需点击、无限滚动、筛选器、标签页或依赖登录/会话状态）时，使用
browser。 - 仅在目标 URL 未知、需先发现候选页面时，才使用
web_search。
默认工作流程
- 明确目标网站及需采集的具体字段。
- 先对单个页面进行测试。
- 确定提取方式：
- 对于可读性强的文章或列表文本，使用
web_fetch - 对于需动态 DOM 检查的场景，使用
browser snapshot
- 对于可读性强的文章或列表文本，使用
- 将输出规范化为稳定的数据结构（schema）。
- 若需爬取多个页面，避免密集循环调用，应将请求序列化执行。
- 依据 URL 或稳定的 item id 去重。
- 当任务规模超出一次性快速操作范畴时，将结果保存至 workspace。
浏览器爬虫模式（Browser scraping pattern）
- 打开目标页面。
- 拍摄快照（snapshot）。
- 仅按需交互：例如搜索、点击筛选器、翻页、展开章节等。
- 每次发生有意义的状态变更后，重新拍摄快照。
- 仅提取用户明确要求的字段。
- 任务完成后关闭对应浏览器标签页。
输出格式建议
优先选用以下任一格式：
- 简洁的项目符号摘要（bullet summary）
- JSON 格式的对象数组
- CSV/TSV 格式（当用户需要可导出的行数据时）
请使用明确的键名（key），例如：
[
{
"title": "...",
"url": "...",
"source": "...",
"date": "...",
"summary": "..."
}
]
可靠性准则
- 不得虚构缺失字段。
- 若网站拒绝访问，需明确告知，并在适当时切换数据源。
- 对于新闻类或搜索结果类页面，至少须采集来源（source）、标题（title）和链接（url）。
- 对于大规模任务，应将部分结果定期存档至 workspace 文件中（checkpoint）。
- 优先执行少量较大写入操作，而非大量微小写入操作。
清理工作
- 关闭所有为爬虫任务打开的浏览器标签页。
- 若创建了状态文件或输出文件，请将其存放在 workspace 下，并采用清晰易懂的命名方式。
相关专题
本专题汇总了AionClaw（AI龙虾助手）的功能介绍与在线使用入口。AionClaw是杭州趣猿人工智能有限公司推出的桌面级AI智能体，能直接在电脑上读写文件、运行脚本、操作浏览器，自动交付Word、PPT、Excel等成品。
2026.09.20
0
13
AionClaw专题整理AI智能体与电脑自动化相关功能使用教程，涵盖安装部署、AI任务执行、Skills技能、文件处理、浏览器控制、电脑操作、持久记忆、聊天工具连接以及办公、编程和内容创作等功能，帮助用户快速掌握AionClaw的实际使用方法。
2026.09.20
0
15
本专题汇总了当前主流的AI视频生成软件推荐与排行榜单，涵盖seko、AniShort、剧云、Lovart、LiblibAI及立刻mv等热门工具。同时整理了各软件在文生视频、图生视频、时长限制、画质表现及免费额度等方面的差异对比，助您快速选对适合创作需求的AI视频生成工具。
2026.09.16
0
9
本专题汇总了当前免费AI生成视频工具的排行榜与推荐清单，涵盖seko、讯飞智作、AniShort及剧云、Lovart等多模型集成平台。同时整理了各工具的免费额度、输出时长、水印政策及适用场景差异，助您快速选择合适工具开启AI视频创作。
2026.09.16
0
10
本专题整理Pandas读取CSV、Excel、JSON、SQL、Parquet等文件的方法，以及to_csv、to_excel、to_sql和to_parquet等常用数据导出流程。
2026.09.16
0
27
本专题介绍GDB按照函数名、源代码行号和文件位置设置断点的方法，详细说明run、continue、next、step等命令的配合使用，帮助定位程序崩溃、逻辑异常及代码未按预期执行的问题。
2026.09.11
0
28
本专题介绍GDB调试过程中查看变量值的具体方法，涵盖局部变量、函数参数、数组、结构体和指针内容查询，同时整理变量持续显示、格式化输出及无法读取变量时的排查思路。
2026.09.11
0
22
热门下载
相关下载
精品课程
共6课时 | 54.6万人学习
共89课时 | 133.1万人学习
共49课时 | 82万人学习
