webclaw是目前兼顾速度、准确率和反爬鲁棒性的最优解，其tls层模拟chrome 142指纹绕过cloudflare等防护，118ms内完成清洗与摘要生成，并通过标准html解析稳定提取title和meta description。
直接上结论：用 webclaw + 自定义元数据提取逻辑，是目前兼顾速度、准确率和反爬鲁棒性的最优解。它不依赖浏览器，118ms 内完成整页清洗+摘要生成，同时保留原始 <title></title> 和 <meta name="description"> 的解析能力。
为什么不用 Puppeteer 或 Selenium 提取摘要？
它们能渲染 JS，但代价太大——每个请求平均 2–3 秒，且内存占用高、易被识别为自动化流量。更关键的是：摘要不是靠“渲染完再截图 OCR”得来的，而是从 DOM 语义结构中推断出正文区域后，按文本密度+段落权重自动截取前 200 字左右。Puppeteer 把整个页面树都加载进来，反而干扰了这个判断逻辑。
- 真实场景中，95% 的导航站/聚合页目标网站是静态或 SSR 页面，
webclaw足够覆盖 - 若某页面确实依赖 JS 渲染（比如 React Router + data-fetching），应单独加 fallback：用
puppeteer截图后丢给tesseractOCR，但仅限该 URL，不全局降级 -
webclaw的 TLS 指纹模拟 Chrome 142，绕过 Cloudflare 等主流防护，而 Puppeteer 默认指纹极易被拦截
如何从 HTML 中稳定提取 title 和 description meta？
别用正则匹配 <title>(.*?)</title> 或 name="description".*?content="(.*?)" —— 编码乱码、标签换行、属性顺序变化都会导致失败。正确做法是走标准 HTML 解析流程：
- 先用
iconv-lite（Node）或chardet（Python）探测响应编码，再转成 UTF-8 - 用
cheerio.load(html, { xmlMode: false, decodeEntities: true })加载，避免实体未解码导致 - 提取
<title></title>：直接$('title').text().trim()，注意空格和换行 - 提取
<meta name="description">：必须用属性选择器$('meta[name="description"]').attr('content')，不能写成$('description')（那是找标签名） - 若
content为空或长度+ 首段
<p></p>文本拼接，作为 fallback 摘要
同步 Meta 标签时最容易忽略的三个细节
很多系统把 title 和 description 存进数据库就完事，结果上线后搜索引擎不认——问题往往出在边界处理上：
-
<meta>必须严格位于内，且只出现一次；CMS 模板里重复插入会导致部分爬虫只取第一个，其余丢弃 - 中文
description字符数限制是 160 Unicode 字符（不是字节），但str.length在 JS 中返回码点数，基本准确；Python 用len(text)也等效，无需转 bytes 计数 - 禁止用 JS 动态注入
<meta>，Googlebot 不执行 JS，这段标签等于不存在；服务端渲染（SSR）或静态生成（SSG）时必须已存在
真正难的不是“怎么取”，而是“什么时候重取”。URL 内容变了，但没人触发更新，摘要就永远 stale。建议在 CI 流程里加一层校验：每次构建前对 top 100 链接做 HEAD 请求比对 Last-Modified 或 ETag，有变更才触发全量抓取。否则，再快的提取工具也救不了过期数据。
前端入门到VUE实战笔记：立即使用
在学习笔记中，你将探索 前端 的入门与实战技巧！
