本文介绍如何使用 BeautifulSoup 解析网页中的 表格结构，并提取指定字段（如姓名、位置、球队、年龄、出生年份）构建结构化 Pandas DataFrame，适用于 FBRef 等含语义化 data-stat 属性的体育数据网站。
本文介绍如何使用 beautifulsoup 解析网页中的 `
` 表格结构，并提取指定字段（如姓名、位置、球队、年龄、出生年份）构建结构化 Pandas DataFrame，适用于 FBRef 等含语义化 `data-stat` 属性的体育数据网站。在网页数据采集实践中，获取原始 HTML 后常需将其转化为结构化表格（如 pandas.DataFrame）以便后续分析。FBRef 网站采用高度语义化的 HTML 标记（如
✅ 正确解析与结构化建模
首先，跳过不必要的注释清理（原代码中正则替换 实际上非必需，且可能引入风险；现代 lxml 或 html.parser 均能自动处理注释），直接解析响应内容：
import requests
from bs4 import BeautifulSoup
import pandas as pd
url = "https://fbref.com/en/comps/9/stats/Premier-League-Stats"
res = requests.get(url)
res.raise_for_status() # 确保请求成功
soup = BeautifulSoup(res.text, 'lxml')
# 定位第3个 <tbody>（索引为2），对应球员统计主表
player_tbody = soup.find_all("tbody")[2]<p>接着，遍历每一行 </p><div class="aritcle_card flexRow artxards">
<div class="artcardd flexRow">
<a class="aritcle_card_img" rel="nofollow" href="/xiazai/skill12116" title="DeepBI DHTML 页面生成器"><img
src="https://img.php.cn/upload/skill/001/246/273/6adaf20d3191a227.jpg" alt="DeepBI DHTML 页面生成器" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a>
<div class="aritcle_card_info flexColumn">
<a rel="nofollow" href="/xiazai/skill12116" title="DeepBI DHTML 页面生成器" class="overflowclass">DeepBI DHTML 页面生成器</a>
<p class="overflowclass">生成可在 deepbi 沙箱 iframe 内运行或作为独立文件运行的交互式 HTML 页面，使用 `window.deepbi` JS SDK 实现数据查询、空间管理、文件浏览及用户操作。当用户提出以下需求时启用该能力：
- 创建 KPI 仪表盘、数据表格、文件浏览器、成员列表、管理页面；
- 明确要求“转成 dhtml”、“转译成 HTML”、“把 XX 页面转成……”、“控制台页面”、“管理后台”、“DeepBI 页面迁移”；
- 提及位于 `apps/console/src/featur</p>
</div>
<a rel="nofollow" href="/xiazai/skill12116" title="DeepBI DHTML 页面生成器" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span>
</a>
</div>
</div>
<tr>，按 data-stat 属性定位关键列，并安全提取文本内容（注意：部分单元格内嵌 <a> 标签，需统一用 .get_text(strip=True) 避免换行/空格干扰）：<pre class="brush:php;toolbar:false;">data = []
for row in player_tbody.find_all("tr"):
# 提取姓名：优先取 <a> 标签内的文本（避免 th 中冗余内容）
name_tag = row.find("a")
name = name_tag.get_text(strip=True) if name_tag else ""
# 按 data-stat 属性精准提取字段
position = row.find("td", {"data-stat": "position"})
team = row.find("td", {"data-stat": "team"})
age = row.find("td", {"data-stat": "age"})
birth_year = row.find("td", {"data-stat": "birth_year"})
# 安全提取 + 清洗（例如 age 字段为 "24-084"，可截取整数部分）
position_txt = position.get_text(strip=True) if position else ""
team_txt = team.get_text(strip=True) if team else ""
age_txt = age.get_text(strip=True).split("-")[0] if age and "-" in age.get_text(strip=True) else age.get_text(strip=True) if age else ""
birth_year_txt = birth_year.get_text(strip=True) if birth_year else ""
data.append([name, position_txt, team_txt, age_txt, birth_year_txt])
# 构建 DataFrame
df = pd.DataFrame(data, columns=["Name", "Position", "Team", "Age", "Birth Year"])
print(df.head())</a>
⚠️ 注意事项与增强建议
- 容错处理：实际网页中可能存在合并单元格（rowspan/colspan）、空行或缺失字段。建议在 find() 后增加 if ... is not None 判断，或使用 try/except 包裹关键提取逻辑。
- 字段标准化：Position 值如 "FW,MF" 可进一步拆分为多热编码列；Age 的 "24-084" 格式建议保留原始值并新增 Age_Year 列（int(age.split('-')[0])）。
-
扩展性优化：若需动态适配不同页面的列结构，可先解析 获取所有 data-stat 属性名，再按需提取，实现通用表格解析器。
- 反爬提示：FBRef 对高频请求较敏感，建议添加 headers={'User-Agent': 'Mozilla/5.0...'} 并控制请求频率。
通过上述方法，你不仅能稳定构建球员数据 DataFrame，还能快速迁移到其他具有类似语义化标记的体育数据源（如 Transfermarkt、SofaScore 的结构化表格页），大幅提升数据采集工程的可维护性与复用性。
前端入门到VUE实战笔记：立即使用
在学习笔记中，你将探索 前端 的入门与实战技巧！
