抓取政府政策页面发布时间应优先解析页脚或文章顶部的标签或class="pub-date"等稳定html元素；避免js渲染内容，用lxml解析，sqlite存url、publish_time并比对更新，微信/钉钉webhook推送，每日9:30–10:30定时执行。
用 requests + BeautifulSoup 抓取政策页面的最新发布时间
政府网站多数不提供 RSS 或 API，只能靠解析 HTML。重点不是“能不能抓”，而是“抓哪块内容稳定”。很多网站在页脚或文章顶部用 <time></time> 标签或 class 为 pub-date、update-time 的元素标出更新时间，比单纯看标题列表更可靠。
实操建议：
- 先人工打开目标页面（如某省发改委“政策文件”栏目），右键“查看网页源代码”，搜索
<time>、<code>datetime=、class=".*?date等模式，确认字段是否静态存在且不易变动 - 避免依赖 JavaScript 渲染的内容——这类网站用
requests直接拿不到数据，得换playwright或selenium，但会显著增加维护成本和失败率 - 加
headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'}，否则部分网站返回 403 - 别用
BeautifulSoup(html, 'html.parser')解析含 malformed tag 的政府页面，改用'lxml'或'html5lib'
用 sqlite3 存储并比对历史发布时间，避免重复推送
每次抓到的时间戳必须和上次存的比。不能只比“有没有新链接”，因为有些网站会更新旧文件（比如修订 PDF）但 URL 不变。
实操建议：
- 建表只要三列：
url TEXT PRIMARY KEY、publish_time TEXT、checked_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP - 插入或更新用
INSERT OR REPLACE INTO policies (url, publish_time) VALUES (?, ?)，不要先SELECT再判断——并发或定时任务重叠时容易漏判 - 查“新增”用
SELECT url FROM policies WHERE publish_time > ?，参数填上一轮运行时的最大时间（不是当前时间），确保时间窗口可追溯 - SQLite 文件路径别写相对路径如
./data.db，用os.path.join(os.path.dirname(__file__), 'data.db')，否则 cron 启动时可能找不到
用微信/钉钉 Webhook 推送通知，绕过邮件配置复杂度
发邮件要配 SMTP、处理 TLS、防被当垃圾邮件；而微信/钉钉 Webhook 只需一个 HTTPS POST，失败也容易 debug。
实操建议：
- 微信用「企业微信」自建应用，获取
webhook_url形如https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=xxx；钉钉用群机器人，注意开启“加签”后timestamp和sign必须动态计算 - POST body 用
application/json，别用application/x-www-form-urlencoded，否则钉钉收不到 - 消息体里至少带
url和publish_time，别只写“有新政策”，否则用户还得自己翻 - 加简单重试：HTTP 状态码非
200时，time.sleep(1)后再试一次，别直接抛异常中断整个检查流程
用 crontab 或 APScheduler 控制执行频率，避开高峰时段
政府网站服务器性能有限，高频请求易被限流甚至拉黑 IP。每天扫一次足够，且最好选工作日上午 9:30–10:30 之间——这时页面已更新完毕，又没撞上早高峰访问洪峰。
实操建议：
- Linux 下用
crontab -e写30 9 * * 1-5 /usr/bin/python3 /path/to/monitor.py >> /var/log/policy-monitor.log 2>&1，别用* * * * * - 如果必须用 Python 自调度（比如 Windows 或容器环境），选
APScheduler而非schedule库——后者无守护进程能力，主程序退出就停 - 在脚本开头加
if os.path.exists('/tmp/policy_monitor.lock'):判断上轮是否卡住，防止 cron 多实例并发写 SQLite 报database is locked - 日志里务必记录每次实际抓到的最新时间戳，而不是只记“成功/失败”——这是排查“为什么没推”最直接的依据
真正难的不是技术拼接，是政策页面结构一变，XPath 就全废；也不是通知发不出，而是某个厅局悄悄把发布时间从 <time datetime="2024-05-20"></time> 改成 <span>2024年05月20日</span>。这类细节不会报错，只会让监控静默失效。所以第一次上线后，至少手动核对三天的数据一致性。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
