商品价格爬虫工具

从电商平台网站抓取、标准化并比对商品价格。

快速上手

"比对 [产品名称] 在 Amazon、eBay 和 Walmart 上的价格"
"从 [URL] 抓取价格信息"
"跟踪 [产品] 的价格变动"

工作流程

1. 确定目标 — 接受产品名称（在多个站点中搜索）或指定 URL 列表
2. 抓取 — 对每个目标执行 scripts/scrape_prices.py
3. 标准化 — 去除货币符号、统一计量单位，必要时进行货币换算
4. 比对 — 按价格排序、标记异常值，并计算平均值/中位数
5. 输出 — 通过 --format 参数指定 JSON 或 CSV 格式

抓取策略

静态页面（大多数商品列表页）

使用 web_fetch 配合类似 cheerio 的解析方式。无需启动浏览器。

动态页面（JavaScript 渲染的价格）

使用 browser 工具，结合 snapshot + act 进行页面导航与数据提取。

反爬虫注意事项

• 随机化请求间隔（每次请求之间延迟 2–5 秒）
• 轮换 User-Agent 字符串
• 遵守 robots.txt 协议 — 抓取前务必检查
• 限制每个域名的并发请求数量

价格标准化

• 去除货币符号及空白字符
• 转换按单位计价格式（例如 "$2.99/oz" → 单位价格）
• 处理价格区间（取最低值）
• 标记“原价/现价”类折扣价格 — 同时记录两个价格

输出 Schema

{
  "query": "产品名称或 URL",
  "scraped_at": "ISO-8601",
  "results": [
    {
      "source": "amazon",
      "url": "https://...",
      "title": "商品标题",
      "price": 29.99,
      "currency": "USD",
      "unit_price": null,
      "original_price": 39.99,
      "in_stock": true,
      "rating": 4.5,
      "review_count": 1234
    }
  ],
  "summary": {
    "lowest": { "source": "amazon", "price": 29.99 },
    "highest": { "source": "walmart", "price": 34.99 },
    "average": 32.49,
    "median": 31.99
  }
}

脚本说明

• scripts/scrape_prices.py — 主爬虫脚本：支持输入产品名称或 URL 列表，输出结构化 JSON 数据
• 各网站专用 CSS 选择器详见 references/selectors.md

伦理与合规性

• 遵守 robots.txt 协议及速率限制
• 未经明确授权，不得抓取需登录才能访问的内容
• 不得收集任何个人身份信息（PII）
• 批量抓取前，请查阅目标网站的服务条款（ToS）