监控网页内容变化：基于服务器端的自动化轮询与告警实践-php教程-PHP中文网

监控网页内容变化：基于服务器端的自动化轮询与告警实践

本文介绍如何在无官方 api 的前提下，通过服务端定时抓取、解析与比对网页内容，实现对动态更新数据（如股票价格）的持续监控与阈值告警，适用于初学者快速搭建轻量级监控系统。

本文介绍如何在无官方 api 的前提下，通过服务端定时抓取、解析与比对网页内容，实现对动态更新数据（如股票价格）的持续监控与阈值告警，适用于初学者快速搭建轻量级监控系统。

在实际运维与数据采集场景中，常遇到目标网站仅提供前端渲染页面、不开放结构化 API 的情况（例如部分财经资讯站实时显示印度股市行情）。此时，若需在服务端自动监测关键字段（如某只股票最新价）是否突破预设阈值，并及时通知用户，可采用「服务端网页监控」方案——即绕过客户端 JavaScript 渲染逻辑，直接由服务器周期性获取 HTML、提取目标数据、执行条件判断并触发动作。

该方案核心由三部分组成：稳定的数据获取 → 准确的内容提取 → 可靠的状态决策与响应。以下以 Linux 服务器环境为例，使用 Python（兼顾可读性与生态成熟度）配合 requests + BeautifulSoup 实现，辅以 cron 定时调度，全程无需浏览器或前端运行环境。

✅ 基础实现步骤（Python 示例）

# monitor_stock.py
import requests
from bs4 import BeautifulSoup
import time

# 配置项（请替换为真实目标 URL 和选择器）
TARGET_URL = "https://example-stock-site.in/live/NIFTY50"
PRICE_SELECTOR = "#live-price"  # CSS 选择器，定位价格元素（需根据实际网页审查确定）
ALERT_THRESHOLD = 22500.0       # 触发告警的价格阈值
LOG_FILE = "/var/log/stock_monitor.log"

def get_current_price():
    try:
        headers = {
            "User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36"
        }
        resp = requests.get(TARGET_URL, headers=headers, timeout=10)
        resp.raise_for_status()
        soup = BeautifulSoup(resp.text, "html.parser")
        price_elem = soup.select_one(PRICE_SELECTOR)
        if not price_elem:
            raise ValueError("Price element not found")
        raw_text = price_elem.get_text(strip=True).replace(",", "")
        return float(raw_text)
    except Exception as e:
        with open(LOG_FILE, "a") as f:
            f.write(f"[{time.ctime()}] ERROR: {e}\n")
        return None

def check_and_alert():
    current = get_current_price()
    if current is None:
        return
    if current > ALERT_THRESHOLD:
        # 此处可扩展：发送邮件、Webhook、写入数据库等
        print(f"? ALERT: NIFTY50 price {current} > threshold {ALERT_THRESHOLD}")
        # 示例：调用系统命令发送邮件（需提前配置 mailutils）
        # os.system(f'echo "Price exceeded!" | mail -s "Stock Alert" admin@example.com')

if __name__ == "__main__":
    check_and_alert()

? 关键提示：选择器调试
使用浏览器开发者工具（F12 → Elements → 右键元素 → Copy → Copy selector）获取稳定、唯一的 CSS 选择器；避免依赖动态 ID 或内联样式类。若页面依赖 JavaScript 渲染（如 React/Vue），则需改用 Playwright 或 Selenium 启动无头浏览器（增加资源开销，非必需时不推荐）。

⚙️ 部署为服务端定时任务

将脚本加入系统级定时任务，确保后台持续运行：

# 编辑当前用户的 cron 表
crontab -e

# 添加一行（每 15 秒执行一次 — 注意：cron 最小粒度为 1 分钟；高频轮询建议用 systemd timer 或简单 while 循环）
# 每分钟执行一次：
* * * * * /usr/bin/python3 /opt/monitor/monitor_stock.py >> /var/log/stock_monitor.log 2>&1

# 或使用更灵活的循环守护（推荐用于秒级监控）：
# 创建 /opt/monitor/run_monitor.sh：
#!/bin/bash
while true; do
  python3 /opt/monitor/monitor_stock.py
  sleep 15
done
# 然后用 systemd 托管（略去 unit 文件细节，确保开机自启与日志管理）

⚠️ 注意事项与最佳实践

遵守 robots.txt 与网站条款：检查目标站点 robots.txt 是否允许爬取，避免高频请求导致 IP 被封；建议设置合理间隔（≥10–30 秒），添加随机延迟。
异常健壮性：网络超时、HTML 结构变更、空值/格式异常（如“—”、“N/A”）必须捕获处理，避免脚本中断。
状态持久化（进阶）：单纯轮询无法感知“变化”，建议记录上一次有效值到文件或 Redis，仅当新值 ≠ 旧值且满足阈值时才告警，减少误报。
安全加固：脚本运行在独立低权限用户下；敏感配置（如 Webhook 地址）应从环境变量或加密配置文件读取，勿硬编码。
可观测性：输出结构化日志（含时间戳、状态码、价格、是否告警），便于后续接入 ELK 或 Prometheus+Grafana。

掌握此模式后，你不仅能监控股价，还可迁移至航班状态、汇率、竞品价格、政策公告等任意公开网页数据源——本质是构建一套自主可控的「轻量级网络数据哨兵」。起步无需复杂框架，重在理解数据流闭环：拉取 → 解析 → 判断 → 响应 → 日志 → 优化。