本文详解如何利用 BeautifulSoup 的 select 和 select_one 方法，从 tarifaluzhora.es 网站中结构化提取每小时电价（含时间区间、价格数值及颜色等级），并整理为 Pandas DataFrame，便于后续集成至 WhatsApp 自动化推送系统。

本文详解如何利用 beautifulsoup 的 `select` 和 `select_one` 方法，从 tarifaluzhora.es 网站中结构化提取每小时电价（含时间区间、价格数值及颜色等级），并整理为 pandas dataframe，便于后续集成至 whatsapp 自动化推送系统。

在网页爬虫开发中，精准定位并提取目标字段（如时间与价格）是关键一步。针对 https://www.php.cn/link/d0b416a4ccac7ca256e9e0b8d137ec0b 这类结构清晰但嵌套较深的电价页面，直接使用 find_all('div', class_=...) 容易匹配到冗余容器，反而增加解析难度。更高效的方式是基于语义化 HTML 属性（如 itemprop）进行 CSS 选择器定位。

该网站使用 Microdata 标准标记关键信息：

• 时间区间由 包裹（如 20:00 - 21:00）；
• 价格数值由 包裹（如 0.06643 €/kWh）；
• 颜色等级（high/low/default）则隐含在上级
  的 class 属性中（如 template-tlh__background-color-high）。

  以下代码实现了稳健、可维护的数据提取逻辑：

  

  学习导航

  一款AI开发辅助工具，主要用于学习者优质的学习网址导航网站，适合需要提升相关任务效率的用户。

  下载

  import pandas as pd
  import requests
  from bs4 import BeautifulSoup
  
  url = "https://www.php.cn/link/d0b416a4ccac7ca256e9e0b8d137ec0b"
  response = requests.get(url)
  response.raise_for_status()  # 确保请求成功
  soup = BeautifulSoup(response.content, "html.parser")
  
  all_data = []
  # 使用 CSS 选择器精准定位：排除嵌套的 .row，只选含 price 微数据的顶层行
  for row in soup.select(".row:not(:has(.row)):has([itemprop=price])"):
      time_elem = row.select_one('[itemprop="description"]')
      price_elem = row.select_one('[itemprop="price"]')
  
      if not (time_elem and price_elem):
          continue  # 跳过缺失任一字段的异常项
  
      # 通过向上查找获取颜色标识（基于 class 名中的关键词）
      circle_div = time_elem.find_previous("div", class_=lambda c: c and "circle" in c)
      color_class = circle_div["class"][-1] if circle_div else "default"
  
      color = "high" if "high" in color_class else \
              "low"  if "low"  in color_class else "default"
  
      # 清理价格文本中的换行符，确保格式统一
      price_text = price_elem.get_text(strip=True).replace("\n", " ")
  
      all_data.append({
          "Time": time_elem.get_text(strip=True),
          "Price": price_text,
          "Color": color
      })
  
  df = pd.DataFrame(all_data)
  print(df.head(10))  # 查看前10条记录

  ✅ 关键技巧说明：

  • ".row:not(:has(.row)):has([itemprop=price])" 是核心选择器：它排除了嵌套的 .row（避免误匹配子容器），同时确保只选取包含 itemprop="price" 的有效行块，大幅提升鲁棒性；
  • find_previous("div", class_=...) 比硬编码层级遍历更可靠，能适应 HTML 结构微调；
  • get_text(strip=True) 替代 .text 可自动去除首尾空白与多余换行，提升数据洁净度；
  • 添加 response.raise_for_status() 和空值校验，使脚本在生产环境中更健壮。

  ? 注意事项：

  • 该网站无反爬机制，但建议添加 headers={'User-Agent': 'Mozilla/5.0...'} 模拟浏览器访问，避免被服务端拦截；
  • 若需定时抓取（如每小时更新），应加入异常重试与日志记录；
  • 后续对接 whatsapp-web.js 时，可将 df[df['Color']=='high'] 筛选出高价时段，生成自然语言消息（如 "⚠️ 高价时段提醒：20:00-21:00 为 0.06643 €/kWh"），再通过 WebSocket 发送。

  此方案兼顾简洁性与可扩展性，是典型「语义优先」式网页解析的最佳实践。