如何在 Webman 中实现复杂的 Excel 百万级数据导入导出

秋墨姑娘_4117

秋墨姑娘_4117

2026-06-11

189人浏览

原创

phpspreadsheet在webman中无法处理百万行数据,因其纯php实现导致内存溢出;应改用xlswriter扩展配合分块查询、流式写入、协程读取及异步zip分片导出。

如何在 webman 中实现复杂的 excel 百万级数据导入导出

为什么 PhpSpreadsheet 在 Webman 里撑不住百万行

它纯 PHP 实现,load() 会把整个 Excel 解析成内存对象树,10 万行就常触发 Fatal error: Allowed memory size exhausted;Webman 是 Swoole 常驻进程,一次 OOM 会卡死整个 worker,比 PHP-FPM 更致命。即使关掉缓存(Settings::setCacheEnabled(false)),写入 5 万行后内存也轻松破 200MB,且无法边查边写——必须等 DB::table()->get() 全部返回才开始生成文件。

xlswriter + 分块查询才是 Webman 导出的可行路径

用 C 扩展 xlswriter 替代 PhpSpreadsheet,内存恒定在几 MB,支持真正的流式写入。关键不是“装上就能跑”,而是要配合 Webman 的运行模型:

  • 安装必须走 pecl install xlswriter,并在 php.ini 加 extension=xlswriter.so,仅 composer require 无效
  • 不要用 response()->download(),改用 php://output 直接输出流,手动设 Content-Type 和 Content-Disposition
  • 必须调用 set_time_limit(0),否则 Swoole 默认 10 秒超时会中断导出
  • 每写入 5000–10000 行后执行 ob_flush() + flush(),否则 Nginx 或浏览器可能一直无响应
  • 数据库查询必须分块:用 offset/limit 或游标分页,避免 count(*) 全表扫描

大文件导入不能靠一次性 toArray()

上传的 Excel 文件若超 10MB,$reader->load($file->getRealPath()) 就可能失败或阻塞协程。真实场景下应放弃全量加载:

excel-clean
excel-clean

Excel 数据清洗——去重、填补缺失值、格式转换。

下载
  • 优先选 boxspout:轻量、流式读取、兼容 Swoole 协程,XlsxReader 可逐行迭代,内存占用稳定在 2–5MB
  • 禁用 PhpSpreadsheet\Reader\Xlsx 的 load(),改用其 getCellIterator() 或 getRowIterator(),但需注意它仍会预加载部分结构,不如 boxspout 彻底
  • 解析完每批数据(如 1000 行)立即用 DB::transaction() 批量插入,避免长事务锁表
  • 若需校验或清洗,把逻辑放进协程 go(function () { ... }),但注意 MySQL 连接池需支持协程,不能混用传统 PDO

异步任务 + ZIP 分片是唯一能落地的方案

单个百万行 Excel 文件体积常超 100MB,浏览器下载易中断、服务端磁盘 I/O 压力大。真正上线必须拆解:

  • 导出不生成单个大文件,而是按 10 万行一个 sheet,每个 sheet 写成独立 .xlsx,存临时目录
  • 用 ZipArchive 合并所有分片,但合并过程不能阻塞 HTTP 请求——必须扔进 Worker 进程或 Redis 队列异步执行
  • 前端轮询 /api/export/status?task_id=xxx 获取进度,后端用 Redis hash 存 {total: 1000000, done: 320000}
  • 最终提供 ZIP 下载链接,而非直接响应二进制流;链接带一次性 token,72 小时后自动清理临时文件

分片和异步不是锦上添花,是 Webman 处理百万级 Excel 的刚性前提——漏掉任意一环,上线后就会在凌晨三点收到报警。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

webman excel swoole

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
excel对比两列数据异同
excel对比两列数据异同

Excel作为数据的小型载体,在日常工作中经常会遇到需要核对两列数据的情况,本专题为大家提供excel对比两列数据异同相关的文章,大家可以免费体验。

2023.07.25

5061

7

excel重复项筛选标色
excel重复项筛选标色

excel的重复项筛选标色功能使我们能够快速找到和处理数据中的重复值。本专题为大家提供excel重复项筛选标色的相关的文章、下载、课程内容,供大家免费下载体验。

2023.07.31

3116

5

excel复制表格怎么复制出来和原来一样大
excel复制表格怎么复制出来和原来一样大

本专题为大家带来excel复制表格怎么复制出来和原来一样大相关文章,帮助大家解决问题。

2023.08.02

2900

3

excel表格斜线一分为二
excel表格斜线一分为二

在Excel表格中,我们可以使用斜线将单元格一分为二。本专题为大家带来excel表格斜线一分为二怎么弄的相关文章,希望可以帮到大家。

2023.08.02

1444

3

excel斜线表头一分为二
excel斜线表头一分为二

excel斜线表头一分为二的方法有使用合并单元格功能方法、使用文本框功能方法、使用自定义格式方法。本专题为大家提供excel斜线表头一分为二相关的各种文章、以及下载和课程。

2023.08.02

697

5

绝对引用的输入方法
绝对引用的输入方法

绝对引用允许在公式中引用一个固定的单元格,而不会随着公式的复制和粘贴而改变引用的单元格。本专题为大家提供绝对引用相关内容的文章,大家可以免费体验。

2023.08.09

5148

7

java导出excel
java导出excel

在Java中,我们可以使用Apache POI库来导出Excel文件。本专题提供java导出excel的相关文章,大家可以免费体验。

2023.08.18

6603

6

excel输入值非法
excel输入值非法

在Excel中,当输入的数值非法时,有以下多种处理方法。本专题为大家提供excel输入值非法的相关文章,大家可以免费体验。

2023.08.18

1681

3

excel生成二维码
excel生成二维码

虽然Excel本身并不直接支持生成二维码,但我们可以借助一些插件或宏来实现在Excel中生成二维码的功能。本专题为大家提供excel生成二维码的相关文章。

2023.08.18

2778

4

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Webman和FastAPI的性能对比
Webman和FastAPI的性能对比

共0课时 | 313人学习

Webman中文手册
Webman中文手册

共0课时 | 0人学习

webman初步使用及后台搭建
webman初步使用及后台搭建

共15课时 | 2.7万人学习