Offset分页在数据迁移中不可用,因其需扫描并丢弃大量前置行导致IO和CPU成本爆炸,且存在数据漂移、重复或遗漏风险;应改用游标分页或FindInBatches。

为什么 Offset 分页在迁移任务里根本不能用
因为迁移不是查列表,是扫全表;Offset 越往后,数据库越要扫描并丢弃前面所有行。100 万条数据翻到第 1000 页(OFFSET 999990),MySQL 实际执行的是“读 100 万行 → 丢掉前 999990 行 → 返回 10 行”,IO 和 CPU 成本爆炸。这不是 GORM 的问题,是 SQL 执行模型决定的。
- 哪怕加了索引,只要
ORDER BY字段和查询条件没落在同一覆盖索引里,照样回表、照样慢 - 迁移过程中新数据持续写入,
OFFSET定位会漂移——上一页最后一条可能被重复处理,或直接跳过 -
Count(&total)在迁移场景毫无意义:你不需要总页数,你需要的是“有没有下一批”
用 FindInBatches 替代手写 Offset 循环
FindInBatches 是 GORM v2 提供的批量流式处理接口,它不依赖 OFFSET,而是按主键范围分段拉取,天然规避偏移膨胀问题。它内部会自动做主键切片(如 WHERE id BETWEEN ? AND ?),且支持回调函数逐批处理。
- 必须指定
batchSize(比如 1000),不能设成 10000——太大内存扛不住,太小 IO 次数太多 - 回调函数里别直接
Save()到目标库,先缓存一批再批量CreateInBatches,否则单条事务开销压垮连接池 - 如果源表没主键或主键不连续(比如 UUID),得自己构造单调递增字段(如添加
created_at, id复合排序 + 覆盖索引) - 别在回调里调
db.Transaction()包整个批次——锁粒度太大;应让每批独立事务,失败时记录断点last_id
游标分页才是迁移同步的正确姿势
真正稳的增量同步,靠的是“游标+条件分页”:每次查 WHERE created_at > ? OR (created_at = ? AND id > ?),把上一批最后一条的 created_at 和 id 当作下一批起点。这要求排序字段组合必须唯一、有索引、不可为空。
- 必须建联合索引:
CREATE INDEX idx_created_at_id ON users(created_at, id),否则WHERE created_at > ?无法高效定位 - 时间字段不能用
DATETIME默认值CURRENT_TIMESTAMP——高并发下秒级相同值太多,导致游标卡住或漏数据;改用MICROSECOND精度或加id强制唯一 - 迁移中途若失败,只需保存最后成功处理的游标值(如
"2026-08-21 13:50:00.123456", 99999),下次从那里 resume - 前端传游标必须做严格校验:
created_at格式是否合法、id是否为正整数,非法值直接拒掉,不 fallback
Count 查询在迁移中是伪需求
迁移任务不关心“总共多少页”,只关心“还有没有下一批”。硬加 Count 不仅拖慢首请求,还会在大表上引发长时间元数据锁(尤其 MySQL 8.0 以前)。
- 别写
db.Model(&User{}).Count(&total)—— 这会触发全表扫描,且结果对迁移进度无实际指导意义 - 想判断是否结束?查一批
+1条:db.Where("id > ?", lastID).Order("id ASC").Limit(batchSize + 1).Find(&users);如果返回数量 ≤batchSize,说明到底了 - 如果业务强依赖总数(比如进度条),改用采样估算:
SELECT TABLE_ROWS FROM information_schema.TABLES WHERE TABLE_NAME = 'users',误差可接受,速度极快
游标字段的单调性、索引覆盖、断点持久化——这三个点漏掉任何一个,所谓“增量同步”就只是个带重试的裸循环。











