PHP实现CSV百万级数据导出,避免内存溢出的流式输出方案-php教程-PHP中文网

php导出百万级csv的核心是流式读取+流式写出，避免内存溢出：用db::cursor()或pdo无缓冲查询逐行获取数据，配合php://output直输、bom头防乱码，必要时分片+zip打包。

php实现csv百万级数据导出,避免内存溢出的流式输出方案

PHP导出百万级CSV数据，核心不是“怎么写CSV”，而是“怎么不把数据全装进内存”。用 Db::select() 或 mysqli_query() 默认方式查表，等于把整张表塞进数组——百万行 ≈ 百MB内存，PHP默认128MB限制瞬间崩掉。真正可行的路径只有一条：流式读取 + 流式写出，中间不缓存整批数据。

用游标替代全量查询（ThinkPHP 8.0 推荐）

ThinkPHP 8.0 提供 Db::cursor()，它返回一个可遍历的生成器，底层自动启用 PDO 的无缓冲查询（PDO::MYSQL_ATTR_USE_BUFFERED_QUERY => false），逐行从 MySQL 拉取，内存常驻仅约几KB：

禁用调试模式：app_debug = false，避免日志、trace 占用额外内存
清理 Schema 缓存：php think clear:config 或手动清空 runtime/cache/ 下的 schema 文件
示例写法：foreach (Db::cursor('user') as $user) { fputcsv($fp, $user); }

原生PDO + yield 手动控制（通用兼容方案）

若不用框架或需精细控制，直接使用 PDO 配合 yield 构建生成器：

QuickBooks Mileage CSV

使用 qbo-mileage CLI 及用户凭证，从 Airtable、Outlook 或 Google Calendar 记录生成 QuickBooks Online 里程 CSV 文件。

下载

创建 PDO 时传入选项：[PDO::MYSQL_ATTR_USE_BUFFERED_QUERY => false]
执行 $stmt = $pdo->prepare("SELECT * FROM user"); $stmt->execute();
在生成器函数中循环 $stmt->fetch(PDO::FETCH_ASSOC) 并 yield 每行
fputcsv() 只接受数组，所以 yield 出来的关联数组可直接传入，无需转换

HTTP头与输出流必须配对生效

光有流式读取还不够，写出也得走流——不能先拼字符串再 echo，也不能写临时文件后读取。必须直连 php://output：

开头设置三要素：header('Content-Type: text/csv; charset=utf-8');、header('Content-Disposition: attachment; filename="users_' . date('YmdHi') . '.csv"');、header('Cache-Control: max-age=0');
写BOM防Excel乱码：echo "\xEF\xBB\xBF";（必须在任何输出前，且不能有空格或换行）
打开输出流：$fp = fopen('php://output', 'w');，之后所有 fputcsv($fp, ...) 都实时发给浏览器
结尾无需 fclose，脚本结束即自动 flush；但建议加 exit; 防止后续意外输出