如何通过API接口正确抓取阿尔卑斯山小屋预订日历的动态数据-html教程-PHP中文网

本文详解为何直接用 requests + beautifulsoup 抓取 alpsonline.org 预订日历会返回空文本，并提供基于真实 api 接口的可靠替代方案，包含会话管理、请求头配置与参数构造等关键实践。

本文详解为何直接用 requests + beautifulsoup 抓取 alpsonline.org 预订日历会返回空文本，并提供基于真实 api 接口的可靠替代方案，包含会话管理、请求头配置与参数构造等关键实践。

当你尝试用 requests 获取 https://www.alpsonline.org/reservation/calendar?hut_id=92 页面并用 BeautifulSoup 解析时，发现所有 .text 为空、input.value 为 None，根本原因在于：该页面采用前端 JavaScript 动态渲染——初始 HTML 中不包含实际日期与房型数据，所有日历内容均通过 AJAX 异步请求后端 API 注入 DOM。因此，response.text 仅含骨架 HTML（如

），真实数据需调用独立接口获取。

幸运的是，通过浏览器开发者工具（Network → XHR）可定位真实数据源：
✅ API 地址：https://www.alpsonline.org/reservation/selectDate
✅ 请求方式：GET
✅ 必需参数：date（格式为 DD.MM.YYYY，如 "23.09.2023"）
✅ 关键 Headers：

'accept': 'application/json, text/javascript, */*; q=0.01'
'referer': 必须设置为原始日历页 URL，否则服务器可能拒绝响应

此外，该接口依赖会话级 Cookie（如 CSRF token 或会话标识），因此必须复用同一 requests.Session() 实例：先访问日历页以触发 Cookie 设置，再发起 API 请求。

以下是完整、健壮的实现代码：

import requests

hut_id = 92
target_date = "23.09.2023"  # 注意：格式为 DD.MM.YYYY，非英文缩写

# 构造必要请求头
headers = {
    'accept': 'application/json, text/javascript, */*; q=0.01',
    'referer': f'https://www.alpsonline.org/reservation/calendar?hut_id={hut_id}',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
}

with requests.Session() as session:
    # 第一步：访问 referer 页面，获取初始 Cookie
    calendar_url = f'https://www.alpsonline.org/reservation/calendar?hut_id={hut_id}'
    session.get(calendar_url, headers=headers, timeout=10)

    # 第二步：调用真实数据接口
    api_url = 'https://www.alpsonline.org/reservation/selectDate'
    params = {'date': target_date}

    try:
        response = session.get(api_url, params=params, headers=headers, timeout=10)
        response.raise_for_status()  # 检查 HTTP 错误

        data = response.json()
        print("✅ 成功获取数据：")
        print(f"日期: {data.get('date', 'N/A')}")
        print(f"可用房间数: {len(data.get('rooms', []))}")
        # 示例：打印每个房间名称与床位数
        for room in data.get('rooms', []):
            print(f"  - {room.get('name', '未知')} | 床位: {room.get('beds', '?')} | 状态: {room.get('status', 'unknown')}")

    except requests.exceptions.RequestException as e:
        print(f"❌ 请求失败: {e}")
    except ValueError as e:
        print(f"❌ JSON 解析失败: {e}")

⚠️ 重要注意事项：

日期格式不可错：API 严格要求 DD.MM.YYYY（如 "05.10.2023"），而非 "Oct 05 2023" 或 "2023-10-05"；
Referer 不可省略：缺失或错误的 referer 头可能导致 403 或空响应；
Session 必须复用：若分开使用两个 requests.get()，Cookie 将丢失，API 返回 {"error":"Invalid request"}；
增加异常处理：网络超时、HTTP 错误、JSON 解析失败均需捕获，避免脚本静默崩溃；
遵守 robots.txt 与网站条款：该站点未明确禁止爬虫，但建议添加合理延时（如 time.sleep(1)）、限制请求频率，并优先考虑官方 API（如有）。

总结而言，面对动态加载内容，与其逆向工程前端 JS 渲染逻辑，不如直击数据源头——通过 Network 面板定位 AJAX 接口，模拟合法请求头与会话状态，即可高效、稳定地获取结构化数据。这是现代网页抓取的核心范式。