正确做法是先用pandas.ExcelFile()打开一次文件再批量读取所有sheet,避免重复I/O;需跳过空表、统一dtype、显式指定skiprows,并用assign添加来源标识后concat。

用 pandas.concat() 合并多个 ExcelFile 对象,别用循环读取再追加
直接循环调用 pandas.read_excel() 每个 sheet 再 .append() 或 pd.concat() 是最常见也最慢的写法——每次调用都重新打开文件、解析格式、加载引擎,I/O 开销翻倍。正确做法是先用 pandas.ExcelFile() 打开一次文件,再批量读取所有 sheet,最后统一拼接。
-
ExcelFile实例可复用,.sheet_names获取全部表名,.parse(sheet_name)零开销读取指定 sheet - 对单个 Excel 文件内多个 sheet 合并,优先用
[df.assign(sheet=s) for s, df in ...]加源表标识,避免后续混淆 - 若跨多个 Excel 文件(如
report_2024_01.xlsx,report_2024_02.xlsx),也应先构建[pd.ExcelFile(f) for f in files]列表,再嵌套遍历,而非外层 for 文件、内层再开ExcelFile
跳过空表、隐藏表和无数据表,用 skiprows 和 usecols 控制读取范围
很多“散落”的工作表实际是模板页、说明页或纯格式页,全量读取不仅拖慢速度,还可能因列数不一致导致 concat 报错 ValueError: All objects passed were None 或 Cannot concatenate object of type 'NoneType'。
- 用
xlrd或openpyxl引擎时,ExcelFile的.book属性可访问原生工作簿对象,检查sheet.visibility或sheet.nrows == 0 - 更轻量的做法:对每个
sheet_name先用usecols="A:C"+nrows=1快速试探是否有有效数据;返回空DataFrame就跳过 - 避免用
skiprows=None默认值,显式传skiprows=0或根据 header 行号指定,防止自动推断耗时
强制统一列类型,防止 concat 后出现 object 列或 NaN 混合类型
不同 sheet 中同名列可能被 pandas 自动识别为 int64、float64 或 object,合并后该列变成 object,后续 .sum() 或 .dt 访问直接报错。这不是数据问题,是类型对齐缺失。
- 读取单个 sheet 时就指定
dtype,例如dtype={"id": "Int64", "amount": "float32", "date": "string"}(注意"Int64"是 nullable int) - 若列名不固定,可在所有 sheet 读取完成后,用
pd.concat(..., ignore_index=True)后立刻调用.convert_dtypes(),比手动映射更鲁棒 - 慎用
infer_datetime_format=True:它在列含混合格式(如空字符串+日期)时会静默失败,反致整列变object;宁可用parse_dates=["col"]显式声明
用 chunksize 和 dtype 预分配内存,避免合并大表时 OOM 或卡死
秒级合并不是靠 CPU 算得快,而是靠减少内存抖动和避免临时拷贝。一个 50MB 的 Excel 里若有 20 个各 10 万行的 sheet,全读进内存再 concat,很容易触发频繁 GC 甚至 MemoryError。
- 对超大 sheet,改用
read_excel(..., chunksize=5000)分块读取,每块concat前做astype()类型压缩(如int64 → int32) - 提前统计所有 sheet 的最大列宽和 dtype 分布,用
pd.DataFrame(..., dtype=...)构造空框架,再用.loc赋值,比动态 grow 快 3–5 倍 - Windows 上默认引擎
xlrd已不支持.xlsx,必须显式指定engine="openpyxl"或"calamine"(后者更快但需安装pip install calamine-python)
真正卡住的往往不是合并逻辑本身,而是没意识到 Excel 解析器在后台做了多少隐式类型推断和格式还原。把 ExcelFile 当成数据库连接,把 parse() 当成 SQL 查询,才能稳住秒级响应。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!











