分批统计是处理大数据量SQL报表的稳妥高效方案，通过主键或时间字段游标分页、SQL内聚合、合理并发控制及结果校验保障性能与一致性。

面对数据量巨大的SQL报表统计任务，直接全表扫描容易导致内存溢出、超时或锁表，分批统计是更稳妥高效的选择。核心思路是将大范围数据切分为多个小批次，逐批处理并聚合结果，兼顾性能、稳定性和可监控性。

按主键或时间字段分段切片

最常用且高效的方式是利用有索引的有序字段（如自增ID、创建时间）做分页切片。避免使用OFFSET + LIMIT，因其在深分页时性能急剧下降；改用“游标式”分页：

• 例如按id分批：先查最小id，再每次取id > 上一批最大id且LIMIT N的数据
• 按create_time分批：以天/小时为粒度划分时间段，每批处理一个时间区间，适合日志类报表
• 确保该字段上有有效索引，否则分批失去意义

聚合逻辑下沉到每批内部

不要把原始明细拉到应用层再汇总，而应在SQL中完成单批内的聚合计算：

• 每批执行类似SELECT COUNT(*), SUM(amount), AVG(price) FROM t WHERE id BETWEEN ? AND ?
• 应用层只负责累加各批次的COUNT、SUM，对AVG需保留sum/total_count分别计算，避免简单平均失真
• 涉及去重（如COUNT(DISTINCT)）时，分批后无法直接合并，需改用HyperLogLog等近似算法，或提前物化中间结果表

控制并发与资源占用

多批次不等于盲目并发，需根据数据库负载能力合理调度：

• 单库建议串行或低并发（2–4线程），避免IO和连接数打满；分库场景可适度提升并发
• 每批大小建议1万–10万行，通过测试找到响应时间与吞吐的平衡点
• 添加超时机制与重试逻辑，单批失败不影响整体，记录断点便于续跑

结果合并与一致性保障

分批统计完成后，需确保最终结果准确且可追溯：

• 将每批的统计结果写入临时汇总表（含批次标识、时间戳、数据范围），便于审计与问题定位
• 若统计期间源表有变更（如实时写入），需配合快照（如MySQL的READ COMMITTED快照）或加读锁，保证数据一致性
• 提供校验机制：如总行数比对、关键指标交叉验证，快速发现漏批或重复计算