AionClaw提供本地化网页正文提取能力,支持静态页面web-scraper技能和动态页面Agent Browser模式,可手动exclude过滤噪声,支持JSON/Markdown导出。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

你需要从网页中精准捞出干净正文,避开导航栏、广告、页脚等干扰信息,AionClaw 提供了开箱即用的本地化提取能力,无需写代码、不依赖云端配额、不触发反爬限制。
确认AionClaw已安装并完成初始化
打开 AionClaw 客户端,检查左下角是否显示绿色「安全保护中」标识;若首次运行,需勾选《用户协议》与《产品隐私说明》,系统将自动完成环境检测、依赖安装、路径配置、权限初始化、模型对接六步流程——【未完成初始化前无法调用任何网页提取技能】。
使用内置 web-scraper 技能提取静态网页正文
该方法适用于新闻页、博客、文档类网站等无 JS 渲染的纯 HTML 页面,速度快、零资源占用。
在终端或 AionClaw 控制台输入命令:openclaw skill execute web-scraper --url https://example.com/article
等待返回结果:默认输出含标题、正文段落(已去除 script/nav/aside/footer)、发布时间、作者字段的结构化 JSON;正文为纯文本,保留换行与段落分隔,无 HTML 标签污染。
如需批量处理,准备一个包含多行 URL 的 urls.txt 文件,执行:openclaw skill execute web-scraper --file urls.txt。
对动态渲染页面启用 Agent Browser 模式
当目标网页依赖 JavaScript 加载正文(如电商商品详情、单页应用 SPA、登录后内容),必须启用真实浏览器渲染能力。
第一步:确认已安装模块,运行 npx clawhub install agent-browser;
第二步:启动代理服务,执行 npx clawhub start agent-browser;
第三步:发送自然语言指令,例如:openclaw nanobot execute "打开https://item.example.com/123,等待‘规格参数’区块完全加载,提取所有带 class='detail-title' 的标题及紧随其后的文本内容"。
注意:Agent Browser 会自动处理滚动、懒加载、弹窗关闭等交互动作,但首次运行需确保系统已安装 Chromium 兼容内核(AionClaw 安装包默认附带)。
用 exclude 参数手动剔除顽固噪声块
某些网站的正文容器 class 名含“content”却混有广告,或 ID 动态变化导致默认过滤失效,此时需人工干预。
方法一:在 web-scraper 命令后追加 --exclude ".ad-banner, #related-posts, [role='complementary']",支持 CSS 选择器语法;
方法二:若知道干扰元素固定 class 前缀(如 class="js-cookie-notice"),直接加 --exclude "[class^='js-cookie']";
方法三:对整站统一过滤,在配置文件 ~/.openclaw/config.yaml 中添加全局 exclude 规则,避免每次重复输入。
验证与导出提取结果
第一步:查看终端返回的 JSON 输出,重点核对 "body" 字段是否为连续段落、无乱码、无截断;
第二步:若发现正文开头缺失(常见于 banner 高度遮挡),在命令末尾加 --scroll-to-top true 强制滚动至顶部再提取;
第三步:确认无误后,追加 --output-format markdown 可获得带标题层级与列表结构的 Markdown 版本;
第四步:导出为文件,添加 --output ./article.md 即可保存到指定路径。











