应使用 hashlib.md5(response.content).hexdigest() 对原始字节哈希，而非 response.text；需固定请求头、禁用重定向与压缩，并将哈希值持久化至 json 或 sqlite；变化后用 beautifulsoup 提取正文再 diff 定位语义变更。
为什么用 hashlib.md5() 而不是直接字符串比较
网页内容哪怕只多一个空格、换行或注释，字符串就完全不等——但人眼可能根本看不出变化。用 hashlib.md5() 把整个响应体转成固定长度摘要，能快速判断“实质内容是否变了”，避免被无关格式扰动干扰。
注意：必须对原始 response.content（bytes）哈希，而不是 response.text（str）。编码不一致时，text 可能被 requests 自动解码再重编码，导致哈希值漂移。
- ✅ 正确：
hashlib.md5(response.content).hexdigest() - ❌ 错误：
hashlib.md5(response.text.encode('utf-8')).hexdigest()（除非你显式控制编码且确认没被重解码） - ⚠️ 特别小心：含动态 JS 渲染的页面，
requests拿不到最终 DOM，MD5 校验的是静态 HTML，和浏览器看到的不一致
如何存历史哈希值才不容易丢数据
别用内存变量或临时文件。爬虫中断、重启后哈希记录一丢，就等于从零开始，无法识别“变没变”。
最简可靠方案是写入本地 JSON 文件，按 URL 为 key 存哈希值：
{
"https://example.com/news": "a1b2c3...",
"https://example.com/pricing": "d4e5f6..."
}
- 每次抓取前先读这个文件，查有没有旧哈希；抓完立刻更新并
f.flush()+os.fsync()，防断电丢写入 - 不要用 pickle——跨 Python 版本不兼容，且有反序列化风险
- 如果监控上百个 URL，考虑 SQLite，单文件、事务安全、支持 WHERE 查询，比手写 JSON 更稳
requests.get() 需要加哪些参数才能让 MD5 对得上
同一个 URL，不同请求头、Cookie、User-Agent 可能返回不同内容（比如移动端跳转、A/B 测试页），导致 MD5 总在变，误报“网站改了”。
- 固定
headers：至少设{"User-Agent": "Mozilla/5.0 ..."}，否则某些站返回 403 或精简版 HTML - 禁用自动重定向：
allow_redirects=False，否则response.content是跳转页内容，不是目标页 - 显式关闭压缩：
headers={"Accept-Encoding": "identity"}，防止服务端返回 gzip 后 requests 自动解压——解压逻辑若出错，bytes 就不对 - 超时必设：
timeout=(3, 7)，避免卡死导致哈希永远不更新
发现 MD5 变了之后，怎么定位具体哪块改了
MD5 只告诉你“变了”，不告诉你“怎么变”。真要对比差异，别直接 diff 整个 HTML 字符串——标签顺序、空格、JS 注释会让 diff 噪声极大。
- 先用
BeautifulSoup提取正文文本：soup.find("main") or soup.find("article") or soup.body，再 .get_text() 去标签 - 对纯文本做行级 diff（如
difflib.unified_diff），忽略首尾空白，聚焦语义变化 - 如果站点结构稳定，可只哈希特定区域：
hashlib.md5(soup.select_one(".news-list").encode())，比全页更灵敏也更抗干扰 - ⚠️ 别在生产环境实时跑 BeautifulSoup + diff——CPU 和内存开销陡增，建议只对 MD5 变化的 URL 异步触发精细比对
真正难的不是算哈希，是判断“这个变化值不值得发告警”。比如时间戳、访问统计数每天变，但正文没动——这类噪声得靠选择性提取+业务规则过滤，MD5 本身解决不了。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
