使用 Desearch 抓取网页

从任意网页 URL 提取内容，返回干净的纯文本或原始 HTML。

快速开始

1. 前往 https://console.desearch.ai 获取 API 密钥
2. 设置环境变量：export DESEARCH_API_KEY='your-key-here'

使用方法

# 抓取网页（默认返回干净的纯文本）
scripts/desearch.py crawl "https://en.wikipedia.org/wiki/Artificial_intelligence"

# 获取原始 HTML
scripts/desearch.py crawl "https://example.com" --crawl-format html

选项

示例

读取文档页面

scripts/desearch.py crawl "https://docs.python.org/3/tutorial/index.html"

获取原始 HTML 用于分析

scripts/desearch.py crawl "https://example.com/page" --crawl-format html

响应

示例（format=text，已截断，为默认格式）

人工智能（AI）是指计算系统执行通常需要人类智能的任务的能力，例如学习、推理、问题求解、感知和决策……

示例（format=html，已截断）

  
  
    
Artificial intelligence (AI) is the capability of computational systems...
  

注意事项

• 响应为纯文本或原始 HTML —— 不是 JSON 格式。
• 默认格式为 text。仅当需要检查网页结构时，才使用 --crawl-format html。
• 推荐优先使用 text 格式，以避免因 HTML 标记而过度膨胀 agent 的上下文。

错误

状态码 401：未授权（例如，API 密钥缺失或无效）

{
  "detail": "Invalid or missing API key"
}

状态码 402：付款要求（例如，账户余额不足）

{
  "detail": "Insufficient balance, please add funds to your account to continue using the service."
}

相关资源

• API 参考文档
• Desearch 控制台