Tavily Crawl

爬取网站以从多个页面中提取内容。适用于文档、知识库及全站范围的内容提取。

认证

请前往 https://tavily.com 获取您的 API 密钥，并将其添加到 OpenClaw 配置中：

{
  "skills": {
    "entries": {
      "tavily-crawl": {
        "enabled": true,
        "apiKey": "tvly-YOUR_API_KEY_HERE"
      }
    }
  }
}

或通过环境变量设置：

export TAVILY_API_KEY="tvly-YOUR_API_KEY_HERE"

快速开始

使用脚本

node {baseDir}/scripts/crawl.mjs "https://docs.example.com"
node {baseDir}/scripts/crawl.mjs "https://docs.example.com" --output ./docs
node {baseDir}/scripts/crawl.mjs "https://example.com" --depth 2 --limit 50

示例

# 基础爬取
node {baseDir}/scripts/crawl.mjs "https://docs.example.com"

# 更深层爬取并限制数量
node {baseDir}/scripts/crawl.mjs "https://docs.example.com" --depth 2 --limit 50

# 保存为文件
node {baseDir}/scripts/crawl.mjs "https://docs.example.com" --depth 2 --output ./docs

# 使用路径过滤器进行聚焦式爬取
node {baseDir}/scripts/crawl.mjs "https://example.com" --depth 2 
  --select "/docs/.*" --exclude "/blog/.*"

# 搭配语义化指令使用
node {baseDir}/scripts/crawl.mjs "https://docs.example.com" 
  --instructions "Find API documentation" --chunks 3

选项

爬取深度与性能关系

建议从 --depth 1 开始，仅在必要时再逐步提高深度。

面向上下文的爬取 vs 面向数据采集的爬取

面向智能体（agentic）场景（将结果注入上下文）：务必同时使用 --instructions 和 --chunks。该组合仅返回相关文本块而非整页内容，可有效避免上下文窗口溢出。

面向数据采集（保存至本地文件）：请省略 --chunks 参数，以获取完整页面内容。

提示

• 智能体工作流中务必使用 --chunks —— 可防止将结果送入 LLM 时引发上下文爆炸
• 仅在数据采集场景下省略 --chunks —— 即当需要将完整页面内容保存为文件时
• 初始配置宜保守（例如 --depth 1、--limit 20），再根据需要逐步扩容
• 善用路径匹配模式 聚焦于目标内容区域
• 始终设置 --limit，以防爬取失控