本文介绍解决维基百科网页抓取后返回空DataFrame的常见原因，并推荐使用pandas.read_html()这一简洁、鲁棒的替代方案，避免手动解析HTML结构出错。
本文介绍解决维基百科网页抓取后返回空dataframe的常见原因，并推荐使用pandas.read_html()这一简洁、鲁棒的替代方案，避免手动解析html结构出错。
维基百科页面常包含多个具有相同CSS类（如wikitable）的表格，而你原始代码中使用soup.find('table', {'class': 'wikitable'})仅匹配第一个匹配项——这很可能并非目标表格（例如，页面顶部可能有导航或说明性表格）。当table变量实际指向一个不含有效数据的空表时，后续find_all('tr')和循环将无法提取内容，最终导致countries与hdi_index列表为空，生成的DataFrame自然为空。
更可靠、更高效的解决方案是直接利用Pandas内置的read_html()函数。它基于HTML解析器（默认使用lxml或html5lib）自动识别并解析所有表格，返回一个DataFrame列表，无需手动遍历DOM节点：
import pandas as pd
# 一行代码获取所有表格
tables = pd.read_html('https://en.wikipedia.org/wiki/List_of_countries_by_Human_Development_Index')
# 查看表格数量与结构（调试用）
print(f"共找到 {len(tables)} 个表格")
for i, tbl in enumerate(tables):
print(f"表格 {i}: {tbl.shape[0]} 行 × {tbl.shape[1]} 列，列名: {list(tbl.columns)}")
执行后你会发现，目标HDI国家排名表通常位于索引[1]（索引0常为页面顶部的“See also”等辅助表格）。确认后即可精准选取并清洗列名：
# 提取第二张表格（索引为1），并只保留关键两列
hdi_df = tables[1][['Country or territory', 'HDI value']].copy()
# 可选：重命名列以提升可读性
hdi_df.columns = ['Country', 'HDI']
# 查看结果
print(hdi_df.head())
print(f"\n总计 {len(hdi_df)} 个国家/地区数据")
✅ 优势总结：
- 零依赖手动解析：避免因HTML结构调整（如新增空行、合并单元格、动态类名变化）导致脚本失效；
- 自动类型推断：数值列（如HDI）默认转为浮点型，便于后续分析；
-
容错性强：即使某行数据缺失或格式异常，
read_html()仍能尽力解析其余部分； - 开发效率高：5行代码替代20+行BS4逻辑，大幅降低维护成本。
⚠️ 注意事项：
- 确保已安装
lxml（推荐）或html5lib解析器：运行pip install lxml； - 若页面含JavaScript动态渲染内容，
read_html()将失效（维基百科静态表格无此问题）； - 表格索引可能随维基百科编辑变动，建议首次使用时打印所有
tables结构进行验证，而非硬编码[1]。
通过切换至pandas.read_html()，你不仅能立即解决空DataFrame问题，还能获得更稳定、更易维护的数据采集流程。
