Firecrawl Web 技能

使用 Firecrawl 进行网页抓取、搜索与爬取。

配置

1. 从 firecrawl.dev/app/api-keys 获取您的 API 密钥
2. 设置环境变量：

   export FIRECRAWL_API_KEY=fc-your-key-here
   

3. 安装 SDK：

   pip3 install firecrawl
   

使用方法

所有命令均使用该技能目录下自带的 fc.py 脚本。

以 Markdown 格式获取网页内容

获取任意 URL 并转换为干净的 Markdown 格式。支持 JavaScript 渲染的内容。

python3 fc.py markdown "https://example.com"
python3 fc.py markdown "https://example.com" --main-only  # 跳过导航栏/页脚

截取网页全屏截图

对任意 URL 截取整页截图。

python3 fc.py screenshot "https://example.com" -o screenshot.png

提取结构化数据

根据 JSON Schema 从网页中提取指定字段。

Schema 示例（schema.json）：

{
  "type": "object",
  "properties": {
    "title": { "type": "string" },
    "price": { "type": "number" },
    "features": { "type": "array", "items": { "type": "string" } }
  }
}

python3 fc.py extract "https://example.com/product" --schema schema.json
python3 fc.py extract "https://example.com/product" --schema schema.json --prompt "Extract the main product details"

网页搜索

执行网络搜索并返回结果页面内容（可能需订阅付费套餐）。

python3 fc.py search "Python 3.13 new features" --limit 5

爬取文档站点

完整爬取整个文档网站，适用于学习新框架。

python3 fc.py crawl "https://docs.example.com" --limit 30
python3 fc.py crawl "https://docs.example.com" --limit 50 --output ./docs

注意：每抓取一个页面消耗 1 个积分，请合理设置限制值。

映射网站 URL

在决定抓取哪些页面前，先发现网站上的全部 URL。

python3 fc.py map "https://example.com" --limit 100
python3 fc.py map "https://example.com" --search "api"

示例提示词

• "抓取 https://blog.example.com/post 并总结其内容"
• "截取 stripe.com 的全屏截图"
• "从此商品页面中提取名称、价格和特性"
• "爬取 Astro 文档，以便协助我构建网站"
• "映射 docs.stripe.com 上的所有 URL"

定价

免费套餐包含 500 个积分。1 个积分 = 1 个页面 / 1 次截图 / 1 次搜索请求。