本文介绍如何绕过前端按钮限制，通过解析页面内嵌的 JavaScript 数据，用 Python 自动提取并生成 College Tennis Ranks 网站（如 /schedules/d1w）中动态生成的 schedules.csv 文件。
本文介绍如何绕过前端按钮限制，通过解析页面内嵌的 javascript 数据，用 python 自动提取并生成 college tennis ranks 网站（如 `/schedules/d1w`）中动态生成的 `schedules.csv` 文件。
College Tennis Ranks（collegetennisranks.com）的赛程页（例如 /schedules/d1w）虽提供“CSV”下载按钮，但该功能由 DataTables 的 HTML5 导出插件（buttons.html5.min.js）在浏览器端完成：数据已完整加载至页面内存，点击按钮仅触发前端 JS 将内置数组转为 CSV 并触发下载，不发起任何网络请求。因此，在 Network 面板中无法捕获 CSV 接口，也无法通过简单 GET 请求直接获取。
真正的数据藏于页面源码中——打开网页“查看源代码”（Ctrl+U），可发现 标签下第一个 <script></script> 标签内，以 JavaScript 数组字面量形式硬编码了全部赛程数据，形如：
<script>
var tableData = [
["2024-01-12", "Stanford", "Texas A&M", "W", "6-1", "..."],
["2024-01-13", "Duke", "Florida", "L", "3-4", "..."],
// ... 数百行数据
];
</script>
我们可通过 requests 获取 HTML，再用 BeautifulSoup 定位该 <script></script> 标签，结合正则或 ast.literal_eval 安全解析出 Python 列表，最后用 csv 模块写入文件。
✅ 推荐实现（含错误处理与通用性）：
Miller (mlr) 是一个命令行工具，用于查询、整形和重新格式化名称索引数据，如 CSV、TSV、JSON 和 JSON Lines。它将 awk、sed、cut、join 和 sort 的功能整合到一个专为结构化数据处理而构建的单一工具中。
import re
import requests
import csv
from bs4 import BeautifulSoup
import ast
def fetch_schedules_csv(url: str, output_path: str = "schedules.csv"):
try:
# 1. 获取页面 HTML
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"}
resp = requests.get(url, headers=headers, timeout=10)
resp.raise_for_status()
# 2. 解析 HTML，定位含 tableData 的 script 标签
soup = BeautifulSoup(resp.text, "html.parser")
script_tag = soup.find("script", string=re.compile(r"var\s+tableData\s*="))
if not script_tag:
raise ValueError("未找到包含 tableData 的 script 标签")
# 3. 提取并解析 JavaScript 数组（安全方式）
js_code = script_tag.string
match = re.search(r"var\s+tableData\s*=\s*(\[.*?\]);", js_code, re.DOTALL)
if not match:
raise ValueError("无法从 script 中提取 tableData 数组")
# 使用 ast.literal_eval 替代 eval，确保安全执行
data_list = ast.literal_eval(match.group(1))
# 4. 写入 CSV（假设首行为表头，若无则跳过）
with open(output_path, "w", newline="", encoding="utf-8") as f:
writer = csv.writer(f)
# 若原始数据不含表头，可手动添加；此处按原样导出
writer.writerows(data_list)
print(f"✅ 成功导出 {len(data_list)} 行数据至 {output_path}")
except Exception as e:
print(f"❌ 抓取失败：{e}")
# 使用示例
fetch_schedules_csv("https://www.php.cn/link/0daf2855c770bf6e9d55b2153ed179d8/schedules/d1w")
⚠️ 注意事项：
-
反爬策略：务必设置
User-Agent，否则可能被返回 403； -
数据结构变化：若网站重构（如改用
const tableData = [...]或变量名变更），需同步调整正则匹配逻辑； -
编码兼容性：部分学校名含 Unicode 字符（如
é,ñ），务必使用encoding="utf-8"打开 CSV； - 动态渲染风险：当前方案依赖服务端渲染（SSR）——若未来改为纯客户端渲染（CSR + API），则需切换为 Selenium 或 Playwright 渲染后提取。
总结：当“下载按钮”不发请求时，数据大概率已在 HTML 中。与其逆向 JS，不如直取源头——这是高效、稳定且无需浏览器自动化的核心思路。
