分块传输大型 Excel 文件的正确实践与实现

大瑶同学_1999

大瑶同学_1999

2026-08-08

188人浏览

原创

分块传输大型 Excel 文件的正确实践与实现

本文详解如何正确分块生成并传输大型 excel 文件,解决因重复创建同名 sheet 或流提前关闭导致的数据截断问题,提供基于 apache poi 的内存优化方案及二进制分块收发完整示例。

本文详解如何正确分块生成并传输大型 excel 文件,解决因重复创建同名 sheet 或流提前关闭导致的数据截断问题,提供基于 apache poi 的内存优化方案及二进制分块收发完整示例。

在 Web 服务或微服务架构中,向客户端流式传输大型 Excel 文件(如含上万行数据)时,若直接使用 SXSSFWorkbook 分批写入同一 ServletOutputStream,极易陷入逻辑陷阱:每次调用 workbook.write(outputStream) 后再尝试新建同名 Sheet,会触发 IllegalArgumentException: The workbook already contains a sheet of this name;而若复用原 Sheet 并清空行,则因 SXSSFWorkbook 的底层流机制限制,多次 write() 调用会导致后续写入静默失败或文件结构损坏——这正是原始代码仅输出 100 行的根本原因。

根本症结在于:Excel 是结构化二进制/ZIP 容器格式,不支持“追加写入”单个 Sheet。Workbook.write(OutputStream) 总是输出完整、自洽的 .xlsx 文件(含 [Content_Types].xml、xl/workbook.xml、xl/worksheets/sheet1.xml 等完整部件),而非增量数据块。因此,试图“分批写入同一输出流”本质上违背了 Office Open XML 规范。

✅ 正确解法分两类,按场景选择:

方案一:服务端内存优化 + 单次完整输出(推荐用于 Web API)

避免分块写流,改用 SXSSFWorkbook 的滚动窗口机制,在内存可控前提下一次性生成完整文件,再整体写出:

Excel Export
Excel Export

从结构化JSON生成精美的.xlsx工作簿,支持多工作表、冻结表头、筛选、类型化列、公式、合计以及法国/摩洛哥格式。

下载
@Override
public void generateAndSendExcel(ServletOutputStream outputStream) throws IOException {
    // 每次只保留在内存中的 1000 行,超出部分刷入临时磁盘(自动管理)
    SXSSFWorkbook workbook = new SXSSFWorkbook(1000);
    Sheet sheet = workbook.createSheet("Datos");

    int totalRows = 10000;
    for (int i = 0; i <blockquote><p>✅ 优势:客户端收到标准 Excel 文件,无需额外拼接;内存占用可控(由 SXSSFWorkbook(int windowSize) 控制)。<br>
⚠️ 注意:确保 workbook.dispose() 被调用,否则临时文件残留。</p></blockquote><h3>方案二:二进制分块传输(适用于断点续传、分布式生成等特殊场景)</h3><p>当必须分块网络传输时,应操作 Excel 文件的<strong>最终二进制字节流</strong>,而非中间对象。流程为:  </p><ol>
<li>
<strong>服务端</strong>:生成完整 Excel → 读取为 byte[] → 按固定大小切分为 .bin 块 → 分别发送(附序号);  </li>
<li>
<strong>客户端</strong>:接收所有块 → 按序号合并为完整 byte[] → 写入 .xlsx 文件。</li>
</ol><p>参考实现(精简健壮版):</p><pre class="brush:php;toolbar:false;">// 【发送端】将 Excel 文件切分为有序二进制块
public static List<byte> splitExcelToBlocks(File excelFile, int blockSize) throws IOException {
    try (FileInputStream fis = new FileInputStream(excelFile)) {
        byte[] fullBytes = fis.readAllBytes();
        List<byte> blocks = new ArrayList();
        for (int i = 0; i  blocks, File outputFile) throws IOException {
    try (FileOutputStream fos = new FileOutputStream(outputFile)) {
        for (byte[] block : blocks) {
            fos.write(block);
        }
    }
}</byte></byte>

✅ 关键原则:分块操作对象是 byte[],完全绕过 POI 对象模型,规避所有 Sheet 名称、流状态冲突。
⚠️ 注意:块命名需包含序号(如 report_000.bin, report_001.bin),确保接收方可严格排序;建议增加 SHA-256 校验和验证完整性。

总结:Excel 分块传输不是“分批写 Sheet”,而是“分块传文件”。日常 Web 导出首选 SXSSFWorkbook 单次生成;仅当网络不可靠或需协同处理时,才采用二进制切片方案。二者均能彻底规避原始代码中 createSheet("Datos") 冲突与流失效问题,保障数据完整性与格式合规性。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

excel

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
excel对比两列数据异同
excel对比两列数据异同

Excel作为数据的小型载体,在日常工作中经常会遇到需要核对两列数据的情况,本专题为大家提供excel对比两列数据异同相关的文章,大家可以免费体验。

2023.07.25

4721

7

excel重复项筛选标色
excel重复项筛选标色

excel的重复项筛选标色功能使我们能够快速找到和处理数据中的重复值。本专题为大家提供excel重复项筛选标色的相关的文章、下载、课程内容,供大家免费下载体验。

2023.07.31

2876

5

excel复制表格怎么复制出来和原来一样大
excel复制表格怎么复制出来和原来一样大

本专题为大家带来excel复制表格怎么复制出来和原来一样大相关文章,帮助大家解决问题。

2023.08.02

2660

3

excel表格斜线一分为二
excel表格斜线一分为二

在Excel表格中,我们可以使用斜线将单元格一分为二。本专题为大家带来excel表格斜线一分为二怎么弄的相关文章,希望可以帮到大家。

2023.08.02

1444

3

excel斜线表头一分为二
excel斜线表头一分为二

excel斜线表头一分为二的方法有使用合并单元格功能方法、使用文本框功能方法、使用自定义格式方法。本专题为大家提供excel斜线表头一分为二相关的各种文章、以及下载和课程。

2023.08.02

697

5

绝对引用的输入方法
绝对引用的输入方法

绝对引用允许在公式中引用一个固定的单元格,而不会随着公式的复制和粘贴而改变引用的单元格。本专题为大家提供绝对引用相关内容的文章,大家可以免费体验。

2023.08.09

5128

7

java导出excel
java导出excel

在Java中,我们可以使用Apache POI库来导出Excel文件。本专题提供java导出excel的相关文章,大家可以免费体验。

2023.08.18

6143

6

excel输入值非法
excel输入值非法

在Excel中,当输入的数值非法时,有以下多种处理方法。本专题为大家提供excel输入值非法的相关文章,大家可以免费体验。

2023.08.18

1621

3

excel生成二维码
excel生成二维码

虽然Excel本身并不直接支持生成二维码,但我们可以借助一些插件或宏来实现在Excel中生成二维码的功能。本专题为大家提供excel生成二维码的相关文章。

2023.08.18

2558

4

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Excel 教程
Excel 教程

共162课时 | 43.6万人学习

成为PHP架构师-自制PHP框架
成为PHP架构师-自制PHP框架

共28课时 | 3.5万人学习