mongos内存爆掉的主因是其归并逻辑不支持磁盘落盘,$sort、$group等操作必须全量加载分片结果到内存;allowDiskUse对mongos归并不起作用;大字段投影和分片键不匹配会加剧内存消耗。

因为 mongos 本身不存数据,但它是聚合的协调者——所有分片返回的中间结果都得在 mongos 进程内存里合并、排序、去重,一旦 pipeline 里有 $sort、$group 或无条件 $lookup,它就会把大量文档缓存在内存中,默认没上限。
mongos 内存爆掉的真实原因不是“没加 allowDiskUse”
很多人加了 allowDiskUse: true 还是 OOM,是因为误以为这个参数能让 mongos 把归并过程写到磁盘。实际上:allowDiskUse 在 mongos 层只控制它自己是否允许将部分中间结果暂存(极少用),而 $sort 和 $group 的全局归并逻辑根本**不支持磁盘落盘**——mongos 没有实现外部排序或磁盘分组能力。
- 它只会把所有分片返回的候选文档一次性拉进内存,再做排序或分组
- 如果某次聚合从 10 个分片各拉回 50 万条文档,光传输+合并就吃掉数 GB 内存
-
allowDiskUse: true对这种场景完全无效,日志里也不会报错,只会静默失败或直接 OOM
大文本字段会“偷偷搬砖进内存”
只要 pipeline 里任何一处出现 content: 1 或 { content: 1 },哪怕后续立刻 $unset、根本没参与计算,mongos 就会从每个分片把完整字段内容取回来再丢弃。
- 一个
content字段平均 40KB,10 万文档就是 4GB 内存搬运量 - 错误写法:
{ $project: { title: 1, content: 1, author: 1 } }, { $group: { _id: "$author", count: { $sum: 1 } } } - 正确写法:
{ $project: { author: 1 } }, { $group: { _id: "$author", count: { $sum: 1 } } } - 真要判断文本内容,用
$strLenCP或$regexFind+$cond,别拖原文本进来
分片键和 group 字段不匹配会导致全广播扫描
比如按 { region: 1, user_id: 1 } 分片,却写 { $group: { _id: "$order_date" } },mongos 就无法把分组下推到各 shard 并行执行,只能把全部数据拉到自己本地归并。
- 这种情况下
allowDiskUse不起作用,explain("executionStats")里能看到某个 shard 的totalDocsExamined异常高 - 优化方向:让
_id包含分片键前缀,例如{ _id: { region: "$region", day: { $dateToString: { format: "%Y-%m-%d", date: "$created_at" } } } } - 避免在
$unwind后按非分片字段$group,这几乎必然触发广播
真正卡住的点往往不是语法或配置漏写,而是没意识到 mongos 归并逻辑的硬限制:它不支持磁盘归并,也不自动下推复杂阶段;一旦数据流没在分片层就收窄,到了 mongos 就只剩硬扛。










