读大excel文件必须用chunksize分块读取，避免内存溢出；需跳过脏行、显式声明dtype；日期解析要指定origin和unit；导出时禁用样式保留以提升性能。
用 pandas.read_excel() 读大文件前必须设 chunksize
直接 pd.read_excel("huge.xlsx") 很容易内存爆掉，尤其文件超 100MB 或行数过百万时。这不是 pandas 慢，是它默认把整张表全载入内存 —— 即使你只想要其中几列或做简单过滤。
正确做法是用 chunksize 参数分块读取：
for chunk in pd.read_excel("data.xlsx", chunksize=5000):
# 对每块 chunk 做清洗、筛选、写入数据库等
cleaned = chunk.dropna(subset=["order_id"]).astype({"amount": "float64"})
cleaned.to_sql("orders", con=engine, if_exists="append", index=False)
-
chunksize不是越大越好：设成 5000–20000 通常平衡内存与 I/O 效率；超过 50000 容易又卡住 - 别在循环里反复调用
pd.concat()拼回完整 DataFrame —— 这等于又把全部数据拉进内存 - 如果原始 Excel 有多个 sheet，
sheet_name必须指定具体名字或索引，不能用None（会尝试读所有 sheet，chunksize 失效）
空值、混合类型列导致 dtype 推断失败
Excel 常见“第一行是标题、中间插了汇总行、末尾有备注”的结构，pandas 默认按前几行猜 dtype，结果整列变成 object，后续 .fillna(0) 或 .astype(int) 直接报错：ValueError: invalid literal for int()。
解决关键是跳过脏行 + 显式声明类型：
df = pd.read_excel(
"sales.xlsx",
skiprows=[0, 1, 2], # 跳过标题和合并单元格行
usecols="A:C", # 只读需要的列，减少干扰
dtype={"product_id": "string", "qty": "Int64", "price": "float64"}
)
-
"Int64"（首字母大写）是 pandas 的可空整型，能存NaN；普通"int64"遇到空值就崩 -
skiprows比header更可靠：后者只控制哪行当列名，不跳过中间脏数据 - 如果列里混了 “N/A”、“-”、“” 等非标空值，加
na_values=["N/A", "-", ""]
日期列解析错乱：Excel 底层是浮点数，不是字符串
Excel 存日期本质是自 1900-01-01 起的天数（如 44562 表示 2022-01-01），pandas 有时会当成普通数字读进来，或者解析成错误年份（比如 2000 年变成 1900 年）。
强制按 Excel 日期格式解析：
df = pd.read_excel(
"log.xlsx",
parse_dates=["create_time"],
date_parser=lambda x: pd.to_datetime(x, origin="1899-12-30", unit="D")
)
- 不要依赖
infer_datetime_format=True—— 混合格式（如 “2023/1/1” 和 “2023-01-01”）会让它静默失败 - 如果列里有空值或文本（如 “待确认”），先用
errors="coerce"：pd.to_datetime(df["date"], errors="coerce") - 导出回 Excel 时，用
df.to_excel(..., date_format="YYYY-MM-DD")控制显示，否则可能变回浮点数
写入 Excel 时性能差？换 openpyxl 引擎并禁用格式保留
to_excel() 默认用 openpyxl，但若原文件有复杂样式、图表、合并单元格，pandas 会尝试保留它们 —— 导致写入慢 10 倍以上，甚至卡死。
明确告诉它只要数据：
df.to_excel(
"cleaned.xlsx",
engine="openpyxl",
index=False,
# 关键：不加载原文件，不保留样式
if_sheet_exists="replace"
)
- 如果只是生成新文件，不用
if_sheet_exists；但如果要追加写入已有 sheet，必须设为"overlay"或"replace"，否则报错 - 写入超 10 万行时，考虑改用 CSV 中转：
df.to_csv("temp.csv", index=False); pd.read_csv("temp.csv").to_excel(...)，比直写快得多 - 避免在循环里反复打开/关闭 Excel 文件 —— 每次
to_excel()都是完整重写，不是追加
批量处理的核心不在“怎么写代码”，而在“什么时候不该把整个文件读进内存”。Excel 的灵活性恰恰是它的陷阱：合并单元格、多级标题、手填备注、日期格式不统一……这些日常操作，全是 pandas 的雷区。绕开它们比强行修复更省时间。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
