应使用pd.ExcelFile一次性加载文件并遍历sheet_names调用parse()读取,避免多次read_excel重复解析;合并时用pd.concat(..., ignore_index=True, sort=False),并手动添加source_sheet列标识来源。

用 pd.ExcelFile 一次性读取所有 Sheet,避免反复打开文件
直接对每个 Sheet 调用 pd.read_excel() 会重复解析 Excel 文件结构,尤其在大文件或 Sheet 数量多时明显变慢。正确做法是先用 pd.ExcelFile 加载一次,再遍历其 .sheet_names 读取:
-
excel = pd.ExcelFile("data.xlsx")—— 此时文件只被解析一次,内存中保留了所有 Sheet 的元信息 - 后续用
excel.parse(sheet_name)读取任意 Sheet,比多次调用read_excel快 3–5 倍(实测 20+ Sheet 场景) - 注意:若 Excel 含公式或格式(如日期自动转为
datetime64),ExcelFile不会提前计算,仍由parse()按参数处理
统一列名和数据类型前必须检查各 Sheet 结构差异
不同 Sheet 列名拼写不一致(如 "订单号" vs "订单编号")、空行位置不同、首行非标题——这些都会导致 concat() 后出现 NaN 或类型混乱。实操建议:
- 先用
[df.columns.tolist() for df in dfs]打印所有 Sheet 的列名,人工比对或用set.union(*[set(df.columns) for df in dfs])看全集 - 对关键字段做映射:例如
col_map = {"订单编号": "order_id", "订单号": "order_id"},再用df.rename(columns=col_map, errors="ignore") - 数值列若混有文本(如“暂无”、“-”),
pd.to_numeric(df["金额"], errors="coerce")强制转为float64,否则concat会升格为object类型,后续 sum/mean 失效
用 pd.concat(..., ignore_index=True) 合并时慎用 sort=False
默认 concat 会对列名排序,导致合并后列顺序与原始 Sheet 不一致(比如 ["name", "age"] 和 ["age", "name"] 合并后变成 ["age", "name"])。这在后续按位置取列(如 df.iloc[:, 0])时会出错。
- 加
sort=False可保持列顺序以第一个 DataFrame 为准,但前提是所有 Sheet 列名已对齐(见上一节) -
ignore_index=True必须加,否则索引会重复(每个 Sheet 都从 0 开始),影响去重或分组 - 若需保留来源 Sheet 名,可在读取时加
df["source_sheet"] = sheet_name,再 concat,比后期用pd.merge补信息更可靠
遇到 XLRDError: Excel xlsx file; not supported 就换引擎
老版本 Pandas 默认用 xlrd 引擎,但它从 2.0 版起只支持 .xls,不支持 .xlsx。错误信息明确指向引擎问题,不是文件损坏。
- 显式指定引擎:
pd.read_excel(..., engine="openpyxl")(处理 .xlsx)或engine="xlrd"(仅 .xls) - 若用
ExcelFile,也得传engine:pd.ExcelFile("data.xlsx", engine="openpyxl") - 注意:
openpyxl不能读取 Excel 公式结果(只读单元格值),而xlrd(旧版)和pyxlsb(对 .xlsb)行为不同,选引擎前先确认你依赖的是值还是计算结果
跨 Sheet 汇总真正的难点不在代码行数,而在各 Sheet 实际数据质量——比如某个 Sheet 多了一行汇总行、某个字段在部分 Sheet 是字符串在另一些是数字、时间字段有的带时区有的不带。这些必须在 concat 前逐个验证,靠自动化很难兜底。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!











