如何利用Python监控竞品网站的价格变动并生成对比报表？-Python教程-PHP中文网

合法监控竞品价格需避开爬虫：因反爬机制严、法律风险高，应优先用官方api、合规服务商（如priceapi）、浏览器自动化（需规避检测）或邮件/rss通知；数据处理关键在来源合法、sku对齐与字段一致。

如何利用python监控竞品网站的价格变动并生成对比报表？

不能直接监控竞品网站价格变动——绝大多数竞品网站明确禁止爬虫，且反爬机制日益严密；强行抓取大概率触发 403、429 或 IP 封禁，还可能违反 robots.txt 和《反不正当竞争法》第十二条。

为什么 requests + BeautifulSoup 通常失败

现代电商网站（如京东、淘宝、拼多多）普遍采用以下防护手段：

动态渲染：关键价格由 JavaScript 异步加载，requests 拿不到真实数据
请求头校验：检查 User-Agent、Referer、Sec-Ch-Ua 等字段是否合理
行为指纹：识别 Puppeteer / Selenium 的自动化特征（如 webdriver 属性）
验证码/滑块：访问频率稍高即弹出 geetest 或 hCaptcha

用 BeautifulSoup 解析静态 HTML 的方式，在目标页面启用 SSR 或 CSR 后基本失效。不是代码写得不对，而是架构层面就不支持。

合法可用的替代方案有哪些

优先考虑平台官方或合规第三方数据源：

查看竞品是否提供公开 API：例如部分品牌官网有 /api/product/detail?id=xxx 接口（需抓包分析，注意 Authorization 头）
接入已获授权的数据服务商：如 DataForSEO、PriceAPI，它们已解决反爬和合规问题，返回结构化价格+历史记录
使用浏览器自动化时必须规避检测：禁用 automationFlags、覆盖 navigator.webdriver、随机化鼠标轨迹——但仅限自有商品页或明确允许的测试环境
订阅 RSS 或邮件通知：少数垂直电商（如 Newegg）支持价格变动邮件提醒，可解析 email.mime 提取数字

绕过 robots.txt 或伪造用户行为批量采集，法律风险远高于技术成本。

361SCAN security check your skill python scripts

扫描并分析已安装技能，用于查看指定技能目录的名称、描述和详情，或列出所有已安装的技能。

下载

如果已有合规数据源，如何生成对比报表

假设你通过 PriceAPI 获取了 JSON 数据，核心是清洗、对齐、可视化：

import pandas as pd
from datetime import datetime
<h1>假设 data 是 API 返回的列表，每项含 'sku', 'price', 'source', 'updated_at'</h1><p>df = pd.DataFrame(data)
df['updated_at'] = pd.to_datetime(df['updated_at'])
df['price'] = pd.to_numeric(df['price'], errors='coerce')</p><h1>按 SKU 聚合最新价格，保留来源</h1><p>latest = df.sort_values('updated_at').groupby('sku').tail(1)</p><h1>pivot 成宽表：列是不同 source，值是 price</h1><p>report = latest.pivot(index='sku', columns='source', values='price').round(2)</p><h1>计算差值（以自家为基准）</h1><p>if 'our_store' in report.columns:
report['diff_vs_our'] = report.iloc[:, 0] - report['our_store']</p>

关键点：