网页内容获取器

给定一个 URL，返回其主体内容的干净 Markdown 格式 —— 标题、链接、图片、列表、代码块等均完整保留。

注意：本技能提取内容 + 远程图片 URL。若用户需要“离线”副本（将图片下载至本地磁盘并重写链接），需额外添加后处理步骤（该步骤默认不包含在本技能中）。

提取策略

始终对每个 URL 仅尝试一种方法 —— 不要盲目级联尝试。应在首次调用时即选择最合适的方法。

URL
 │
 ├─ 1. Scrapling 脚本（首选）
 │     运行 fetch.py —— 查阅域名路由表以决定使用 fast 模式还是 --stealth 模式。
 │     适用于大多数网站，直接输出干净的 Markdown。
 │
 └─ 2. Jina Reader（备用方案 —— 仅当 Scrapling 失败或依赖未安装时启用）
       web_fetch("https://r.jina.ai/")
       免费额度：200 次/天；速度快（约 1–2 秒），Markdown 输出质量良好。
       不支持：微信公众号（返回 403）、部分中文平台。

Scrapling 脚本

python3 /scripts/fetch.py "" [max_chars] [--stealth]

是本 SKILL.md 文件所在的目录。调用脚本前请先解析该路径。

该脚本内置两种运行模式：

• 默认模式（fast）：纯 HTTP 请求，耗时约 1–3 秒，适用于大多数网站
• --stealth 模式：无头浏览器渲染，耗时约 5–15 秒，用于 JS 渲染页面或具备反爬机制的站点

若未指定 --stealth 运行脚本，当 fast 模式返回的内容过少时，脚本会自动回退至 stealth 模式。因此你极少需要手动指定 --stealth；唯一建议强制启用的情况是：你已知目标网站必须使用 stealth 模式（参见路由表），此时可跳过初始的 fast 尝试以节省时间。

域名路由表

请根据下表，在首次调用时选择正确的执行模式：

脚本参数选项

# 基础用法 —— 自动选择 fast 或 stealth 模式
python3 /scripts/fetch.py "https://sspai.com/post/73145"

# 对已知重度依赖 JS 的网站强制启用 stealth 模式
python3 /scripts/fetch.py "https://mp.weixin.qq.com/s/xxx" --stealth

# 限制输出长度为 15000 字符（默认为 30000）
python3 /scripts/fetch.py "https://example.com/article" 15000

# 输出 JSON 格式（含元数据：url、mode、selector、content_length）
python3 /scripts/fetch.py "https://example.com" --json

安装依赖

首次使用时需执行 —— 脚本会自动检测并提示缺失项：

pip install scrapling html2text

若使用系统管理的 Python（macOS/Linux），请添加 --break-system-packages 参数，或改用虚拟环境（venv）。

失败处理规则

• 同一 URL 尝试一次即失败 → 直接放弃，并告知用户“无法从此 URL 提取内容”
• 禁止重试 —— 每次失败调用均消耗上下文 token

微信公众号相关注意事项

• 微信公众号常采用懒加载图片，真实 URL 存于 data-src 属性中，而 src 属性仅为占位小图。
• 提取脚本会在运行 html2text 前，将此类懒加载图片的 data-src 值标准化为实际的 src URL。
• 若你在生成的 Markdown 图片语法中发现右括号 ) 后附加了异常的 URL 编码 SVG 片段（例如 ...%3Csvg...%3E），说明占位图的 src 值（如 data:image/svg+xml）意外泄露进了 Markdown 解析流程；请更新 scripts/fetch.py 中的 fix_lazy_images() 函数，以移除或替换此类占位 src 值。