Python怎么自动拆分包含几十万行数据的Excel表-Python教程-PHP中文网

用 pandas.read_excel 直接读几十万行 excel 易卡死或爆内存，因默认加载全表 xml 结构；应优先转 csv 后分块读取，或用 openpyxl 只读模式迭代切片写入。

python怎么自动拆分包含几十万行数据的excel表

用 `pandas.read_excel` 直接读几十万行 Excel 会卡死或爆内存

Excel 文件（尤其是 .xlsx）本质是 ZIP 压缩包，含 XML 结构，pandas.read_excel 默认用 openpyxl 引擎加载时会把整张表解析进内存——哪怕只取前 10 行，它也得先解压、解析所有 sheet 的 XML 节点。几十万行 + 多列 + 公式/样式，很容易触发 MemoryError 或耗时几分钟无响应。

实操建议：

改用 xlrd（仅支持 .xls）或 openpyxl 的流式读取模式（但 pandas 不支持流式读 Excel）——所以得绕开 read_excel
优先转成 .csv：用 Excel 手动另存为 CSV，或用 openpyxl / xlrd 逐行读写到 CSV，再用 pandas.read_csv 分块读
若必须保留在 Excel 格式中拆分，就别用 pandas 加载全量，直接用底层库按行切片

用 `openpyxl` 迭代读取并分批写入新 Excel

适用于需保留格式（如字体、合并单元格）或必须输出为 .xlsx 的场景。核心是不用 worksheet.iter_rows() 加载全部数据，而是用 worksheet.iter_rows(values_only=True) 配合 max_row 控制范围，再用新工作簿逐批写入。

示例逻辑（不加载全表）：

from openpyxl import Workbook
from openpyxl.reader.excel import load_workbook
<p>wb_in = load_workbook("big.xlsx", read_only=True)
ws = wb_in.active</p><p>batch_size = 50000
row_count = 0
batch_num = 1
wb_out = Workbook()
ws_out = wb_out.active</p><p>for row in ws.iter_rows(values_only=True):
ws_out.append(row)
row_count += 1
if row_count >= batch_size:
wb<em>out.save(f"split</em>{batch_num}.xlsx")
batch_num += 1
wb_out = Workbook()
ws_out = wb_out.active
row_count = 0</p><h1>写入剩余行</h1><p>if row_count > 0:
wb<em>out.save(f"split</em>{batch_num}.xlsx")</p><p>wb_in.close()</p>

注意点：

load_workbook(..., read_only=True) 是关键，否则仍会内存暴涨
values_only=True 跳过样式/公式，只取值；若需保留格式，就不能用 read_only，此时应换用 xlwings（需本地 Excel 进程，慢但保真）
每写完一个文件要调用 wb_out.save() 并新建 Workbook()，否则内存持续累积

用 `pd.read_csv` 分块读 + `to_excel` 输出，速度最快且可控

绝大多数“自动拆分”需求其实不依赖 Excel 原生格式——CSV 更轻、读写更快、分块天然支持。只要原始 Excel 能转成 CSV（通常可接受），这是最稳的路径。

Galileo python sdk

Galileo AI 平台 Python SDK 完整参考，用于评估、监控和保护 GenAI 应用，适用于构建 Python 应用。

下载

操作步骤：

先用 Excel 或脚本把 big.xlsx 另存为 big.csv（注意编码选 UTF-8，避免中文乱码）
用 pandas.read_csv(..., chunksize=N) 流式读取，N 设为 20000–100000（根据内存调整）
每个 chunk 直接 to_excel("out_{}.xlsx".format(i), index=False)

示例：

import pandas as pd
<p>for i, chunk in enumerate(pd.read_csv("big.csv", chunksize=65535)):
chunk.to<em>excel(f"chunk</em>{i+1}.xlsx", index=False)</p>

为什么选 65535？