payscale 网站采用前端动态渲染+反爬机制，直接使用 requests + beautifulsoup 会返回空结果；需借助无头浏览器（如 undetected_chromedriver）模拟真实访问，并精准定位动态加载的表格结构。
payscale 网站采用前端动态渲染+反爬机制，直接使用 requests + beautifulsoup 会返回空结果；需借助无头浏览器（如 undetected_chromedriver）模拟真实访问，并精准定位动态加载的表格结构。
Payscale 的「College Salary Report」页面（如 majors-that-pay-you-back/bachelors/）并非静态 HTML，其核心表格数据由 JavaScript 动态注入，且服务器会检测请求头、User-Agent、行为特征等，常规 requests.get() 极易被拦截或返回无数据的骨架页——这正是你调用 soup.find_all('table', class_='data-table') 得到空列表的根本原因。
✅ 正确方案：使用 undetected_chromedriver（UC）替代 Selenium 原生驱动。它专为绕过 Cloudflare、Distil、PerimeterX 等主流反爬系统设计，能有效模拟真实 Chrome 浏览器指纹，避免被识别为自动化工具。
以下是完整、可运行的教程级实现（支持单页解析，可轻松扩展至多页循环）：
import time
import pandas as pd
from bs4 import BeautifulSoup
import undetected_chromedriver as uc
# ✅ 关键配置：启用无头模式（生产环境推荐），并设置合理等待
options = uc.ChromeOptions()
options.add_argument("--headless") # 可选：关闭图形界面提升效率
options.add_argument("--no-sandbox")
options.add_argument("--disable-dev-shm-usage")
# 启动浏览器（自动下载匹配版本 chromedriver）
driver = uc.Chrome(options=options, use_subprocess=True)
try:
url = "https://www.php.cn/link/6312c07423889fb5ff005880166214b1"
driver.get(url)
# ⚠️ 必须等待 JS 渲染完成！推荐用显式等待（此处简化用 sleep）
time.sleep(5) # 实际项目建议用 WebDriverWait 等待 table.data-table 出现
# 解析页面源码（此时已含动态生成的表格）
soup = BeautifulSoup(driver.page_source, "lxml")
# ? 精准定位：先找 tbody，再遍历每行 tr（避免误抓 header 或广告行）
table_body = soup.select_one("table.data-table > tbody")
if not table_body:
raise ValueError("未找到目标表格主体，请检查页面结构是否变更")
data = []
for row in table_body.select("tr"):
try:
# 使用 CSS 选择器按列语义提取（更稳定，优于位置索引）
rank = row.select_one("td.csr-col--rank .data-table__value").get_text(strip=True)
school = row.select_one("td.csr-col--school-name .data-table__value").get_text(strip=True)
degree = row.select_one("td.csr-col--school-type .data-table__value").get_text(strip=True)
early_career = row.select_one("td.csr-col--early-career .data-table__value").get_text(strip=True)
mid_career = row.select_one("td.csr-col--mid-career .data-table__value").get_text(strip=True)
data.append({
"Rank": rank,
"Major": school,
"Degree": degree,
"Early_Career_Pay": early_career,
"Mid_Career_Pay": mid_career
})
except AttributeError:
# 跳过不完整行（如空行、广告占位符）
continue
# ✅ 转为 DataFrame 并输出
df = pd.DataFrame(data)
print(f"成功提取 {len(df)} 条专业薪资数据：")
print(df.head(10))
finally:
driver.quit() # 务必关闭驱动，释放资源
? 关键注意事项与进阶提示：
-
安装依赖：执行
pip install undetected-chromedriver pandas beautifulsoup4 lxml；首次运行会自动下载 Chromium。 -
多页抓取：将 URL 改为
f"https://www.payscale.com/.../bachelors/page/{page}"，外层加for page in range(1, 35)即可，但务必在每次请求后添加time.sleep(1–2)避免触发频率限制。 -
字段健壮性：Payscale 页面结构可能更新（如 class 名变动），建议用
soup.find()+print(soup.prettify()[:2000])快速调试 DOM 结构。 -
法律与伦理：请严格遵守
robots.txt（https://www.php.cn/link/1fbb2eea262d495600ec66f03aea9cfb）及网站 Terms of Service；本教程仅用于学习与个人研究，禁止高频采集或商业用途。 -
替代方案：若因环境限制无法使用 UC，可尝试添加
headers（含真实 User-Agent、Accept-Language）+session.cookies.set()模拟登录态，但成功率远低于浏览器自动化。
掌握此方法，你不仅能稳定获取 Payscale 数据，更能迁移应用于绝大多数现代 SPA（Single Page Application）网站的爬取场景。
