WebClip：保存并摘要网页内容

抓取网页，提取干净可读的纯文本，并生成适用于智能体（agent）的 Markdown 格式摘要。是研究助理的核心基础能力。无需浏览器。

支持抓取任意网页，自动过滤冗余内容，提取结构清晰、语义完整的正文文本，并可选执行摘要处理。特别适合各类研究型任务。

使用方法

const { WebClip } = require('./src/web-clip');
const clip = new WebClip();

// 抓取并清洗
const page = await clip.fetch('https://example.com/article');
console.log(page.title);
console.log(page.text);      // 纯净文本，不含 HTML
console.log(page.markdown);  // 格式化后的 Markdown

// 抓取并摘要
const summary = await clip.summarize('https://example.com/article', {
  maxLength: 200,
  model: 'llama3.1:8b'
});

功能特性

• HTML 清洗 — 自动移除脚本、样式表、导航栏、广告及页脚等干扰元素
• 可读性内容提取 — 自动识别并提取页面主体内容
• Markdown 转换 — 完整保留标题、列表、链接、代码块等格式结构
• 批量抓取 — 支持并发处理多个 URL
• 缓存机制 — 避免重复抓取已处理过的网页
• 离线归档 — 将网页保存为本地 Markdown 文件

输出格式

零依赖

仅使用 Node.js 内置的 https 模块。不依赖 Puppeteer，也不需要无头浏览器。

⚠️ 免责声明

本软件按“现状”（AS IS）提供，不附带任何形式的明示或暗示担保。

使用风险完全由您自行承担。

• 作者不对因本软件的使用或误用所导致的任何损害、损失或后果承担责任，包括但不限于经济损失、数据丢失、安全漏洞、业务中断，以及任何间接或衍生性损害。
• 本软件不构成财务、法律、交易或专业建议。
• 用户须自行评估本软件是否适用于其具体使用场景、运行环境及风险承受能力。
• 不保证本软件在准确性、可靠性、完整性或特定用途适用性方面的表现。
• 作者不对第三方在获取本软件后进行的修改、再分发或二次使用承担任何责任。

通过下载、安装或使用本软件，即视为您已完整阅读本免责声明，并同意完全自行承担使用风险。

数据免责声明：本软件仅在您的本地系统中处理与存储数据。作者不对因软件缺陷、系统故障或用户操作失误所引发的数据丢失、损坏或未授权访问承担责任。请务必对重要数据维持独立备份。除非用户显式配置，本软件不会对外传输任何数据。

支持与相关链接

基于 OpenClaw 构建 — 感谢您让这一切成为可能。

🛠️ 需要定制化开发？ 提供定制化的 OpenClaw 智能体与技能开发服务，起价 $500。只要您能描述需求，我就能为您实现 → 在 Fiverr 上雇佣我