不能用 find().toarray() 导出百万级用户数据，因其会一次性将全部文档加载进内存导致 oom 崩溃，且 mongodb 服务端因游标长期占用而拖慢其他查询；应改用 cursor.stream() 配合 $project 投影精简字段、nocursortimeout 控制超时、错误监听与进度追踪实现可靠流式导出。
为什么不能用 find().toArray() 导出百万级用户数据
直接调用 find().toArray() 会把全部匹配文档一次性加载进 Node.js 进程内存，导出 56 万用户时内存常飙到 2GB+，Node 进程直接 OOM 崩溃。MongoDB 服务端也会因长时间持有游标、未释放快照而拖慢其他查询。
这不是代码写得不够“优雅”的问题，是内存模型和游标生命周期的硬约束。
-
toArray()必须等游标完全遍历、所有文档序列化完成才返回 —— 中间无缓冲、无释放点 - 即使加了
.limit(10000)，只要没显式关闭游标，连接池里的 socket 和服务端快照仍被占用 - 导出 CSV/Excel 时，你真正需要的是一边读、一边写、一边丢弃 —— 不是“全量拿进来再处理”
cursor.stream() 是唯一可行的流式出口
MongoDB Node.js 驱动（v4.0+）原生支持 cursor.stream()，它返回一个 Readable 流，底层自动分批拉取（默认 batch size = 1000），且每次拉取后立即释放上一批内存。这是导出海量数据的基础设施级方案。
关键不是“用了 stream”，而是怎么配参数、怎么接下游、怎么防断连：
- 必须显式设置
batchSize：例如collection.find(query).stream({ batchSize: 5000 })，避免小包频繁往返（默认 1000 在高延迟网络下效率低） - 禁止在流上直接
.on('data', ...)后不控制节奏 —— 若下游写文件慢，流会积压并触发highWaterMark溢出，最终卡死 - 务必监听
'error'和'end'：流中断时，cursor.close()不会自动触发，需手动清理游标防止服务端资源泄漏 - 导出 JSONL（每行一个 JSON）比 CSV 更安全：无需处理字段内换行、逗号、引号转义，
JSON.stringify(doc) + '\n'即可直写
配合 $project 减少传输体积才是提速关键
流式只是“不崩”，但若每条用户文档含 50 个字段（比如完整 profile、address 数组、log 历史），即使流着传，网络和磁盘 I/O 仍是瓶颈。实测显示：去掉 70% 非必要字段后，56 万用户导出时间从 8 分钟缩至 2 分半。
聚合管道里加 $project 不仅省带宽，还让 MongoDB 能更早释放文档内存（服务端不再需要构造完整 BSON）：
db.users.aggregate([
{ $match: { status: "active", createdAt: { $gte: ISODate("2023-01-01") } } },
{ $project: {
_id: 1,
email: 1,
phone: 1,
gender: 1,
createdAt: 1,
updatedAt: 1,
_class: 0 // 显式排除 Spring Data 加的类型字段
}
}
])
- 只投射必需字段，
_id留着便于后续去重或关联，但__v、passwordHash、avatarUrl这类导出无关字段一律剔除 - 避免在
$project里用表达式（如$concat、$dateToString），它们增加服务端 CPU 开销，对导出无实质收益 - 如果目标是 Excel，后续用 Pandas 或 SheetJS 处理格式 —— 不要在 MongoDB 层做字符串拼接
别忽略游标超时与连接稳定性
默认游标空闲 10 分钟自动销毁，但导出 100 万用户可能耗时 15 分钟以上。不处理超时，流中途就断，且无报错提示，你会以为“导完了”，实际只写了前 60 万。
两个必须项：
- 服务端禁用超时：
collection.find(query, { noCursorTimeout: true })—— 注意：这要求你确保应用层一定能正常结束流，否则游标永久悬挂 - 客户端加心跳保活：在流的
'data'事件里定期记录进度（如每 10 万条写一次 offset 到 Redis），崩溃重启后可从断点续导，而不是重头来 - 不要依赖
mongodump做业务导出：它不支持动态$match+$project，也不提供流式写入控制权，只适合全量备份
流式导出真正的复杂点不在语法，而在游标生命周期、内存释放节奏、错误恢复路径这三者的耦合 —— 少一环，数据就可能不全或服务就卡住。
