必须显式调用SetMaxOpenConns(默认0=无限制,生产环境危险),并配合SetMaxIdleConns、SetConnMaxLifetime和SetConnMaxIdleTime;全局单例复用*gorm.DB,通过db.DB().Stats()和数据库视图验证生效。

连接池参数不设等于生产事故
默认的 SetMaxOpenConns(0) 在高并发批量插入时会迅速打满 MySQL 的 max_connections,直接触发 too many connections 错误。这不是 GORM 的锅,是 database/sql 连接池没管住——GORM 本身根本不碰连接池配置,它只包装 *sql.DB。
必须在 gorm.Open() 后立刻拿到原生连接池并显式设置:
-
SetMaxOpenConns(100):按峰值 QPS × 平均单次插入耗时(秒)估算,再加 20% 缓冲;超过数据库max_connections的 80% 就危险 -
SetMaxIdleConns(20):避免每批插入都新建/销毁连接;低于SetMaxOpenConns的 1/3 容易引发频繁建连开销 -
SetConnMaxLifetime(2 * time.Hour):防止 MySQL 主动断连后 GORM 持有失效连接,重连风暴会拖垮整个服务
别忘了加 db.Ping() 校验,否则启动失败静默无提示。
CreateInBatches 为什么比循环 Create 快,但仍有坑
CreateInBatches 底层用的是单条 INSERT ... VALUES (...), (...), (...),相比循环调用 Create 减少了网络往返和事务开销,但它的性能上限直接受限于连接池和 MySQL 的 max_allowed_packet。
常见踩坑点:
- batch size 设太大(如 10000),单条 SQL 超过
max_allowed_packet,报错MySQL server has gone away - batch size 设太小(如 10),连接池频繁复用+释放,抵消了批量优势
- 没关日志:
LogMode(Info)下每批都打日志,IO 成瓶颈,线上务必用LogMode(Warn)或Silent
推荐起始值:CreateInBatches(&users, 500),再根据监控调整。
批量插入时 Preload 和 Hooks 是隐形减速器
很多人在批量插入前顺手加了 Preload 或自定义 BeforeCreate 钩子,结果发现吞吐量断崖下跌——因为这些操作是 per-record 执行的,不是 per-batch。
例如:
-
Preload("Profile")会让每条记录都查一次关联表,N 条变 N×N 次查询 -
BeforeCreate里做 HTTP 调用或复杂计算,500 条 batch 就执行 500 次 - 哪怕只是
UpdatedAt: time.Now(),GORM 也会为每条记录反射赋值,开销可测
批量场景下,应禁用钩子:db.Session(&gorm.Session{SkipHooks: true}).CreateInBatches(...);关联数据改用原生 SQL 或分步处理。
PostgreSQL 和 MySQL 的批量行为差异不能忽略
同一条 CreateInBatches 代码,在不同数据库表现可能天差地别:
- PostgreSQL 支持
RETURNING,CreateInBatches能返回主键;MySQL 不支持,得额外SELECT LAST_INSERT_ID()或靠自增 ID 规律推算 - MySQL 的
INSERT IGNORE/ON DUPLICATE KEY UPDATE逻辑需用Clauses(clause.OnConflict{...})显式表达,且 PostgreSQL 的冲突语法不兼容 - SQLite 对批量大小极其敏感,batch > 100 就容易触发
database is locked
跨数据库部署时,不要假设批量行为一致;压测必须在目标 DB 上做,不能只跑本地 SQLite。
连接池不是配完就完事,它和批量大小、事务边界、钩子开关共同构成一个耦合系统。少调一个参数,或者多开一个钩子,都可能让吞吐量掉一半——而这个问题在线上往往表现为“偶尔慢”,最难排查。











