怎样利用Python批量处理Excel多表合并_通过Pandas库的高级merge功能-Python教程-PHP中文网

pd.concat()更合适，因其专为多表轴向堆叠设计，支持纵向/横向合并多个结构相似的Excel文件，不依赖键匹配；而pd.merge()仅适用于两张表基于列（如ID、日期）的关系型连接。

怎样利用python批量处理excel多表合并_通过pandas库的高级merge功能

合并多个Excel文件时，`pd.concat()` 比 `pd.merge()` 更合适

很多人一看到“合并”就本能想到 pd.merge()，但它只适用于按列（如ID、日期）对齐两张表的**关系型连接**，不是用来堆叠多张结构相似的表。批量合并几十个销售表、日报表、分部门表格时，真正该用的是 pd.concat() —— 它把所有 DataFrame 垂直或水平“摞起来”，保留原始字段，不强制匹配键。

常见错误现象：pd.merge() 报 KeyError: 'xxx' 或结果行数远少于预期，本质是误把“追加”当“关联”。

用 pd.concat() 前，确保各表列名一致（可统一用 df.columns = [...] 重命名）
加参数 ignore_index=True 避免索引重复导致后续筛选错乱
若需标记来源文件，用 keys 参数： pd.concat(..., keys=file_names)，会生成多级索引

读取多个Sheet页时，别硬写循环——用 `pd.ExcelFile` + `sheet_names`

一个 Excel 文件里有 “1月”、“2月”、“3月” 多个 Sheet，逐个 pd.read_excel("a.xlsx", sheet_name="1月") 写三遍？没必要。直接用 pd.ExcelFile 加载一次，再遍历 .sheet_names，既省IO又避免反复解析文件头。

性能影响：对含大量格式/公式的 .xlsx，用 pd.ExcelFile 可减少 40%+ 读取耗时（实测 50MB 文件）。

excel = pd.ExcelFile("data.xlsx") 后，excel.sheet_names 返回列表，可过滤：[s for s in excel.sheet_names if "月" in s]
读取时加 usecols（如 "A:C" 或 [0,1,2]）跳过无用列，内存占用立降
若某Sheet为空，pd.read_excel(excel, sheet_name=s) 会返回空DataFrame，建议加 if not df.empty: 过滤

合并后字段类型错乱？关键在 `dtype` 和 `converters`

合并前各表“订单号”有的是文本、有的被Excel自动转成数字，“金额”列混着字符串“¥1,234.00”和纯数字——pd.concat() 不做类型推断，直接拼，结果整列变 object，后续 .sum() 报错或求和为0。

Python Pep Authoring

依据官方 python/peps仓库规则起草、审阅、编辑或准备 Python 改进提案（PEP），用于处理 PEP 文本和元数据头部。

下载

解决思路不是合并后再转换，而是在读取阶段就约束类型：

用 dtype={"订单号": str, "金额": float} 强制指定，但对含千分位符的字符串会报错
更稳的是 converters： converters={"金额": lambda x: float(str(x).replace("¥","").replace(",",""))}
日期列务必用 parse_dates=["下单时间"]，否则合并后是字符串，df["下单时间"].dt.month 直接 AttributeError

大文件合并卡死？用 `chunksize` 分块读 + 迭代 `pd.concat()`

单个Excel超10万行，或要合并上百个文件时，全量读进内存再 concat 很容易触发 MemoryError。这时得放弃“一次性加载全部”的思路。

核心策略：每个文件分块读，每块 concat 一次，边读边释放内存。

for chunk in pd.read_excel("a.xlsx", chunksize=5000): 返回迭代器，每次只占少量内存
维护一个空 result_df = pd.DataFrame()，每拿到一块就 result_df = pd.concat([result_df, chunk], ignore_index=True)
注意：不要在循环里反复 pd.concat([A,B,C,D])，应累积到 list 再一次 concat，否则时间复杂度爆炸

真正容易被忽略的是磁盘IO瓶颈——如果所有Excel都在同一机械硬盘上，同时开10个 read_excel 反而更慢。顺序读+合理 chunksize（通常5k–20k）才是平衡点。