直接用 requests + beautifulsoup 抓京东/淘宝价格大概率失败，因平台采用动态渲染、请求头校验、ip频控和登录态拦截，价格多由ajax异步加载，html中常为占位符；需通过开发者工具定位真实价格接口并模拟完整请求。
为什么直接用 requests + BeautifulSoup 抓京东/淘宝价格大概率失败
因为主流电商平台都做了反爬：动态渲染（JS 生成价格）、请求头校验、IP 频控、登录态拦截。你看到的页面价格，往往不是 HTML 源码里写死的，而是通过 fetch 或 AJAX 异步加载的 JSON 接口返回的。直接解析 HTML 很可能拿到的是占位符（如 <span class="price">--</span>）或过期缓存。
实操建议：
- 先打开浏览器开发者工具（F12），切到
Network→XHR或Fetch，筛选关键词如price、sku、item，找到返回真实价格的接口（通常是/api/price?skuId=xxx这类） - 复制该请求的
curl命令，用curlconverter转成 Pythonrequests代码，注意保留headers（尤其是User-Agent、Referer、X-Requested-With） - 京东、拼多多等平台部分接口需带
cookie（哪怕只是pt_key和pt_pin），不带则返回403或空数据；淘宝系更严格，基本必须走模拟登录或使用官方开放平台
如何稳定获取商品最新价格并存入数据库
不能每次爬都重新建表或覆盖写文件——得有结构化存储和增量更新能力。推荐用 SQLite（轻量、免服务）或 PostgreSQL（并发高、支持时间序列查询）。
实操建议：
- 表结构至少包含：
sku_id（唯一标识）、platform（如"jd"、"pdd"）、price（REAL）、updated_at（TIMESTAMP）、raw_data（TEXT，存原始响应，便于后续 debug） - 插入前用
INSERT OR REPLACE INTO（SQLite）或INSERT ... ON CONFLICT DO UPDATE（PostgreSQL）避免重复记录 - 价格字段别用字符串存，否则无法排序或计算差值；遇到“¥299”这种带符号的，用正则
re.search(r"[\d.]+", price_str)提取数字再转float - 加个
is_active布尔字段，当某 SKU 连续 3 次抓取失败（HTTP 404 / 商品下架），自动设为False，避免无效轮询
怎么判断价格真的变了，而不是网络抖动或抓取误差
直接比对浮点数 old_price != new_price 不可靠——有些平台返回价格带小数（299.00），有些截断（299），还有些会因促销展示“299-50”，实际成交价是 249。必须做归一化和容错判断。
python-script-generator
下载
快速生成专业的 Python 脚本和应用代码。一键创建完整项目结构，支持CLI、API、爬虫、Bot、Django等多种项目类型，包含完整的项目结构、配置文件、依赖管理、测试、README和文档。
实操建议：
- 统一保留两位小数：用
round(price, 2)再比较，而非直接== - 设置最小变动阈值（例如 ¥0.5），避免把四舍五入差异当成真实调价：
abs(new_price - old_price) > 0.5 - 增加“确认机制”：首次检测到变动，10 分钟后重抓一次，两次结果一致才触发预警，过滤瞬时异常
- 记录
price_history表，每条含price、source（接口 URL）、fetched_at，方便回溯是哪个环节出问题（比如某次接口返回了测试环境价格）
用什么方式发预警最实用，又不至于被当成垃圾邮件
邮件容易进 spam，钉钉/企微机器人对格式敏感，短信成本高。真正跑得稳的方案是分层推送：小变动站内提示，大变动才外发。
实操建议：
- 配置分级阈值：
price_change_rate = abs(new-old)/old；记日志；<code>3%–10%发企业微信文本卡片（带跳转链接）；>10%加发语音电话（用Twilio或国内云通信 API） - 企业微信机器人必须加
timestamp和sign（按文档算 HMAC-SHA256），否则 403；别漏掉Content-Type: application/json - 所有通知里必须带
sku_id和platform，点击能直接跳转对应商品页（拼接 URL 时注意 URL 编码，比如urllib.parse.quote(sku_id)） - 加个
suppress_until字段，同 SKU 24 小时内只告警一次，防止促销期间刷屏
真正的难点不在抓数据，而在于持续维护：接口字段改名、平台加新反爬策略、SKU 生命周期管理。建议把每个平台的解析逻辑封装成独立函数（如 parse_jd_price(html_or_json)），出问题只改单个模块，不影响其他渠道。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
