Node.js 大数据量 Excel 导出内存优化实战指南-js教程-PHP中文网

Node.js 大数据量 Excel 导出内存优化实战指南

本文详解如何在 node.js 中高效导出百万级数据库记录到 excel，避免内存溢出；核心方案是采用流式读取（db stream） + 流式写入（exceljs streaming），全程零全量加载，显著降低内存占用与响应延迟。

本文详解如何在 node.js 中高效导出百万级数据库记录到 excel，避免内存溢出；核心方案是采用流式读取（db stream） + 流式写入（exceljs streaming），全程零全量加载，显著降低内存占用与响应延迟。

在处理超大规模数据导出（如 100 万+ 行）时，传统「全量查询 → 内存组装 → 一次性写入 Excel」模式极易触发 FATAL ERROR: Reached heap limit —— 这正是你遇到的 JavaScript heap out of memory 根本原因。问题不在于 ExcelJS 本身，而在于将全部结果集一次性载入 V8 堆内存（可能达数百 MB），远超 Node.js 默认堆限制（约 1.4GB，且受 GC 压力影响实际可用更低）。

✅ 正确解法：全链路流式处理（Streaming Pipeline）
即：数据库查询流 → 数据转换流（可选）→ Excel 写入流 → HTTP 响应流。各环节数据“边读边写”，内存驻留仅维持单行或小批次，峰值内存可稳定在几 MB 级别。

✅ 推荐技术栈与关键实践

数据库层：使用支持 stream() 的驱动（如 mysql2、pg、mssql）。以 mysql2 为例：

记录数据一键导出 Excel/CSV（带样式）

把记录数组导出为带样式的 Excel(xlsx) 或带 BOM 的 CSV。支持列配置（表头/宽度/顺序）、表头冻结首行、斑马纹、布尔值转「是/否」、数组换行、CSV 中文防乱码。零依赖。触发词：导出 Excel、导出 CSV、记录转表格、列配置导出、数据导出、表格美化、JSON 转表格。

下载

const mysql = require('mysql2/promise');
const pool = mysql.createPool({ /* config */ });

app.get('/download-excel', async (req, res) => {
  try {
    // ✅ 创建可读流：逐行拉取，不缓存全量结果
    const queryStream = pool.query('SELECT date_time, shaft_seal_pressure, transfer_pressure, cip_tem, elect_usage FROM master_data').stream();

    // ✅ 创建 Excel 工作簿（注意：必须启用 streaming 模式）
    const workbook = new ExcelJS.stream.xlsx.WorkbookWriter({
      filename: undefined, // 不写入文件，直接输出到 stream
      useStyles: false,    // 关闭样式可大幅提升性能（如无需格式）
      useSharedStrings: true // 启用共享字符串池，节省内存
    });
    const worksheet = workbook.addWorksheet('Sheet1');
    worksheet.columns = [
      { header: 'Header 1', key: 'date_time', width: 20 },
      { header: 'Header 2', key: 'shaft_seal_pressure', width: 20 },
      { header: 'Header 3', key: 'transfer_pressure', width: 20 },
      { header: 'Header 4', key: 'cip_tem', width: 15 },
      { header: 'Header 5', key: 'elect_usage', width: 15 }
    ];

    // ✅ 将 DB 流管道至 Excel 写入流
    queryStream
      .on('data', (row) => {
        worksheet.addRow(row); // 每行立即写入缓冲区
      })
      .on('end', () => {
        // ✅ 所有数据写入完成，关闭工作簿并触发 finish
        workbook.commit()
          .then(() => {
            // ✅ 将 Excel 写入流对接 HTTP 响应
            res.setHeader('Content-Type', 'application/vnd.openxmlformats-officedocument.spreadsheetml.sheet');
            res.setHeader('Content-Disposition', 'attachment; filename="export_data.xlsx"');
            workbook.stream.pipe(res); // 直接流式响应，无临时文件
          })
          .catch(err => {
            console.error('Excel commit failed:', err);
            res.status(500).send('Export failed');
          });
      })
      .on('error', (err) => {
        console.error('DB stream error:', err);
        res.status(500).send('Database query failed');
      });
  } catch (err) {
    console.error('Route handler error:', err);
    res.status(500).send('Server error');
  }
});

⚠️ 关键注意事项

禁用非必要功能：关闭 useStyles（样式）、useCellFormula（公式）、useSharedStrings: false（若字段重复极少）可显著提速；若需样式，建议仅对表头设置。
列宽预设：提前设置 width 避免 ExcelJS 动态计算，减少 CPU 和内存开销。
数据库连接池配置：确保 maxConnections 足够，并启用 enableKeepAlive，防止长流阻塞连接。
超时控制：为大导出添加 req.setTimeout(30 * 60 * 1000)（30 分钟），避免被网关中断。
错误兜底：流式场景下 try/catch 无法捕获 stream.on('error')，务必监听 error 事件并主动 res.destroy()。
替代方案参考：若 ExcelJS 流式仍显重（如需极致性能），可考虑生成 .csv（用 fast-csv 流式）或使用 xlsx-template + stream-json 做模板填充。