如何使用Python脚本监控指定网页的内容变化并触发提醒?

陌婷同学_8461

陌婷同学_8461

2026-06-29

541人浏览

原创

最简单可靠的网页内容快照比对方式是用requests抓取response.content(原始字节)并计算sha-256哈希值,需正确处理编码与压缩、设置user-agent和超时,结合schedule定时轮询及系统通知提醒,并用lxml清洗无关节点后再哈希。

如何使用python脚本监控指定网页的内容变化并触发提醒?

用 requests 和 hashlib 做轻量级网页内容快照比对

直接抓取页面 HTML 并计算 SHA-256 哈希值,是最简单可靠的检测方式。不依赖 DOM 结构或 JS 渲染,避免前端动态内容干扰,也绕过反爬策略(只要能 requests.get() 成功就行)。

常见错误是只比对 response.text 而忽略响应头和编码——比如服务器返回 gzip 压缩但没解压,或者声明了 charset=gbk 却用默认 UTF-8 解码,会导致哈希值每次都不一样。

  • 务必用 response.content(原始字节)计算哈希,而非 response.text
  • 加 headers={'User-Agent': 'Mozilla/5.0'},多数网站会拦截空 UA 的请求
  • 设置超时:requests.get(url, timeout=10),避免脚本卡死
  • 首次运行时把哈希存到本地文件(如 cache_hash.txt),后续读取比对

用 schedule 库实现定时轮询,别用 time.sleep() 硬等

time.sleep(300) 在长时间运行时容易因异常中断后无法恢复;而 schedule 支持任务重试、日志记录,且调度逻辑清晰可维护。

注意:它不是异步库,所有任务串行执行。如果你要监控 10 个页面,每个请求耗时 2 秒,一轮就得 20 秒——别指望“每 5 分钟检查一次”真的精确到秒级。

  • 安装:pip install schedule
  • 推荐写法:schedule.every(5).minutes.do(check_page, url='https://example.com')
  • 主循环里加异常捕获:try: schedule.run_pending() except Exception as e: print(f"Check failed: {e}")
  • 避免在 check_page 函数里写 while True: ——这会让 schedule 失效

触发提醒时优先用系统通知,而不是硬编码邮件发送

发邮件要配 SMTP、账号密码、TLS 设置,一出错就静默失败;而本地通知(macOS 的 osascript、Windows 的 ToastNotification、Linux 的 notify-send)成功率高、调试快。

python-code-analyz
python-code-analyz

专业Python代码分析与优化,支持语法检查、安全扫描、性能评估、复杂度分析及重构后优化代码生成。

下载

你真需要邮件或微信提醒?先确保基础通知能弹出来,再封装一层。别一开始就陷进 SMTP 认证里。

  • macOS 示例:os.system('osascript -e \'display notification "Page changed!" with title "Web Monitor"\'')
  • Windows(PowerShell):os.system('powershell -Command "& { [Windows.UI.Notifications.ToastNotificationManager]::CreateToastNotifier(\'app\').Show((New-Object Windows.Data.Xml.Dom.XmlDocument).LoadXml(\'<toast><visual><binding template="ToastText01"><text id="1">Page changed!</text></binding></visual></toast>\')) }"')
  • Linux:os.system('notify-send "Web Monitor" "Page changed!"')
  • 所有命令都建议包在 try/except 里,防止系统不支持时报错中断主流程

忽略哪些内容?用 lxml 或 BeautifulSoup 提前清洗再哈希

很多页面含实时时间戳、广告位、统计脚本 URL,这些每天/每小时变,但你并不关心。硬哈希整页 HTML 必然频繁误报。

这时候不能靠正则硬删,得用解析器精准剔除无关节点。比如只保留 <main></main> 或 id="content" 区域,或过滤掉所有 <script></script>、<style></style>、class="ad-banner" 元素。

  • 推荐 lxml:速度快,etree.tostring(tree, method='html', encoding='utf-8') 输出干净字节流
  • 用 tree.xpath('//div[@id="article-content"]') 定位主体,再序列化
  • 别用 bs4 的 .prettify()——它会重排空白符,影响哈希一致性
  • 清洗后仍用 hashlib.sha256(html_bytes).hexdigest(),保持比对逻辑统一

真正难的不是写代码,而是定义“什么算变化”:是标题改了?正文新增一段?还是某个按钮文案变了?这个边界得你人工确认,工具只负责忠实反映差异。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1651

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

4124

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1649

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

23837

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2907

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2947

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1143

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

596

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2283

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Scrapy 官方文档与教程
Scrapy 官方文档与教程

共0课时 | 0人学习

Conan 2 安装指南
Conan 2 安装指南

共0课时 | 0人学习