AionClaw支持通过「网页信息采集」模板自动抓取并结构化整理公开网页信息。需确保目标网页可直连、无需登录,动态内容需启用Chromium内核;支持批量URL导入或关键词搜索扩展采集;可标记标题/数据项、映射字段、智能清洗;结果可导出为文本、Markdown或Excel,保存至本地/output/web_summary_20261010路径。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

你需要让AionClaw自动从多个公开网页中抓取并结构化整理信息,比如竞品价格、新闻摘要、招聘要求或政策原文,而不是手动复制粘贴再拼凑。
确认网页可访问性与内容权限
打开AionClaw客户端,进入「自动化(RPA)」模块→点击右上角「新建流程」→选择「网页信息采集」模板。这一步必须在联网状态下进行,且目标网页不能是登录后才可见的私有页面,【AionClaw默认不支持绕过身份验证的爬取,仅处理公开可直连的HTML内容】。若网页含反爬JS渲染(如动态加载的招聘信息),需切换至「浏览器自动化」子模式并启用内置Chromium内核。
配置多页采集任务
方法一:批量URL导入
在「采集源设置」栏点击「添加网址」→粘贴5个以内纯HTTP/HTTPS链接(支持txt文件拖入,每行一个)→勾选「自动提取正文」→开启「保留原始段落结构」。此方式适合静态资讯站、政府公告页等文本密集型页面,单页响应超时设为8秒可避免卡死。
方法二:关键词自动发现
切换至「搜索扩展采集」模式→输入核心关键词(例如“2026年新能源汽车补贴政策”)→选择「百度快照」或「微信搜一搜」作为入口→设定最大返回页数为12→点击「生成候选页列表」。系统会自动过滤重复域名和广告落地页,仅保留高相关度的公开结果页供你勾选。
定义信息抽取规则
第一步:定位目标区块
在预览窗口中,鼠标悬停任意文字块,点击「标记为标题」或「标记为数据项」;对表格类内容,直接框选整张表→右键选择「提取为结构化表格」。
第二步:设置字段映射
例如采集招聘页时,将「薪资范围」对应到统一字段salary_range,「工作地点」映射到location;若某页缺失该字段,留空即可,AionClaw不会中断流程。
第三步:启用智能清洗
勾选「自动合并同义表述」(如“15K-25K”“¥15000~25000元”“月薪1.5万起”均转为数字区间)→开启「去重去噪」可过滤导航栏、版权声明、浮动广告代码块。注意:【清洗强度调至“中”以上时,可能误删嵌套在正文里的关键联系方式,建议首次运行先用“低”档试跑】。
执行与导出汇总结果
点击右下角「运行流程」→等待状态栏显示「全部完成(5/5)」→在「结果面板」中查看已合并的纯文本摘要、带格式的Markdown报告或Excel表格。导出时选择「按来源分页」可保留每个网页的原始出处链接,选择「融合去重」则生成唯一主题下的精炼结论。导出动作完成后,文件默认保存至AionClaw本地工作区「/output/web_summary_20261010」路径。











