聚合查询在分片集群中必须广播,因为mongos仅做路由决策而不执行计算;当$match不含分片键、含$text/$regex(非前缀)/$or等无法精确定向的操作时,mongos无法预判数据分布,只能向所有分片发送请求并合并结果。

聚合查询在分片集群中为何必须广播?
因为mongos无法预判聚合结果是否跨分片——它不执行实际计算,只做路由决策。当$match阶段无法精确命中某个分片(比如条件不含分片键、或用了$or/$in等非单调操作),mongos只能把请求发给所有分片,再合并结果。这就是“广播路由”,本质是安全兜底,不是设计缺陷。
- 常见触发场景:
$match里没用分片键字段、用了$text、$regex(非前缀)、$where、空值或null参与比较 - 分片键缺失时,文档被视作
null值路由,但查询时null不匹配,导致该文档永远查不到,而mongos仍需向所有分片发请求确认 - 即使
$match能下推,若后续有$group或$sort且未带分片键,mongos也无法局部合并,仍要收全量中间结果
为什么$lookup会让路由开销雪上加霜?
mongos对$lookup基本无感知:它只管把整个聚合请求转发出去,而$lookup的关联逻辑由各分片上的mongod自行执行。如果from集合未分片,每个分片都会尝试连接同一套副本集,形成N×1的连接风暴;如果from也分片,但关联字段不是其分片键,同样触发广播——此时是“双层广播”。
- 典型错误写法:
{$lookup: {from: "users", localField: "userId", foreignField: "_id"}},而users按region分片 → 每个分片都得扫全量users集合 - 正确做法:确保
foreignField是from集合的分片键,或让from集合为非分片(仅限小表) - 驱动层容易忽略:
allowDiskUse: true在分片集群中需显式传给mongos,否则任一分片内存超限都会直接报错,而非降级到磁盘
如何用explain("executionStats")定位真实路由行为?
别只看executionStages里的nReturned,重点看shards数组和serverInfo字段。如果返回里出现多个分片条目,且每个的executionTimeMillis接近总耗时,说明是并行执行;如果只有一个分片返回大量数据、其余为空,说明路由有效;如果所有分片都返回相似数量文档,大概率正在广播。
- 关键指标:
totalDocsExamined× 分片数 ≈ 实际扫描总量;totalKeysExamined反映索引利用程度 - 注意
staleConfig警告:若某分片元数据过期,mongos可能误判数据位置,强制广播以保正确性 - 执行计划里出现
router类型stage,意味着该阶段由mongos本地完成(如$sort合并),此时CPU和内存压力会集中在mongos进程,而非分片
连接池和文件句柄不足会放大路由开销吗?
会,而且非常隐蔽。mongos本身不存数据,但它要同时维持:客户端连接池 + 到每个分片的连接池 + 到配置服务器的长连接。一旦聚合请求变多,每个请求都需打开多条后端连接,maxConns设太小会排队,ulimit -n不够则直接EMFILE报错,表现为“部分分片无响应”或“超时随机发生在不同阶段”。
- 生产建议:
mongos --maxConns 2000起步,配合系统级ulimit -n 65536 - 检查命令:
db.runCommand({connPoolStats:{}})看hosts下各分片连接数是否趋近上限 - 一个常被忽略的点:Java驱动默认
minConnectionPoolSize=0,高并发下连接反复创建销毁,加剧mongos调度负担
真正卡住聚合性能的,往往不是单个分片慢,而是mongos在协调过程中反复确认、重试、合并、序列化——这些动作不写日志、不占CPU采样,却实实在在吃掉毫秒级延迟。观察serverStatus里的metrics.operation.fastmod和metrics.queryExecutor比看慢查询日志更早暴露问题。











