Golang GORM怎么做批量操作_Golang GORM批量教程【通俗】-Golang-PHP中文网

createinbatches 是 gorm 唯一推荐的批量插入方式，但需传入切片、batchsize > 1，返回 *gorm.db 而非 error，错误须通过 result.error 检查，空切片安全；findinbatches 需显式排序防漏数据，handler 中应单条更新；批次大小需实测调优，钩子不逐条触发，id 和时间戳不自动回填。

golang gorm怎么做批量操作_golang gorm批量教程【通俗】

怎么用 `CreateInBatches` 批量插入才不翻车

直接上结论：CreateInBatches 是 GORM 官方唯一推荐的批量插入方式，但它不是“自动兜底”的银弹——用错参数、忽略返回值、误判错误类型，三秒就能让你的 10 万条数据静默失败。

CreateInBatches 第一个参数必须是切片（如 []User），传 *[]User 或单个 struct 会 panic
第二个参数 batchSize 必须 > 1；设成 1 就退化为逐条插入，还多一层函数调用开销
它返回的是 *gorm.DB，**不是 error**！常见错误写法：if err := db.CreateInBatches(...) —— 这行代码根本编译不过
正确检查方式：result := db.CreateInBatches(users, 100); if result.Error != nil { ... }
空切片安全：如果 users 是空 slice，CreateInBatches 不发 SQL，result.Error == nil 且 result.RowsAffected == 0

`FindInBatches` 处理大查询时为什么总漏数据

因为 FindInBatches 不是分页器，它按“查到多少就喂多少”流式分批，底层靠 OFFSET/LIMIT 或游标模拟（取决于数据库和条件），一旦中间批次处理中修改了数据（比如更新了 updated_at），后续批次可能跳过或重复——尤其在无主键/无稳定排序字段时。

务必加明确排序，例如：DB.Order("id ASC").FindInBatches(&results, 100, handler)
handler 函数里别直接改 results 后再 Save 全量——这会把整批 ID 覆盖成一样值；应遍历单条更新：tx.Model(&r).Where("id = ?", r.ID).Updates(map[string]interface{}{"name": r.Name + "_new"})
它不会自动帮你跳过已处理记录，逻辑必须自己闭环；想“只处理未标记的”，得在 WHERE 条件里写清楚，比如 .Where("processed = ?", false)
返回值也是 *gorm.DB，错误只能从 handler 的 return error 捕获，外部 result.Error 始终为 nil

批次大小设多少才合理：100？1000？还是看运气

没有全局最优解，只有“当前表结构 + 当前数据库配置 + 当前行平均长度”下的安全值。盲目设大，MySQL 报 ERROR 1153 (08S01): Got a packet bigger than 'max_allowed_packet' bytes，PostgreSQL 直接断连或报 22001: string data, right truncation。

Colly Golang Web Scraper and Crawler Framework

Colly 是一个用于 Go 语言的快速开源爬取和爬虫框架。它适用于从简单的页面提取到异步爬虫处理大量页面集合，支持请求回调和结构化解析。

下载

MySQL 推荐 100–500 行/批（单行越长，上限越低）；max_allowed_packet 默认 4MB，实际可用约 3.5MB
PostgreSQL 单次 INSERT ... VALUES 最多约 65535 个参数，若每行 5 字段，则最多插 ≈13000 行——但 work_mem 和网络缓冲会先卡住，实操建议 ≤ 2000
SQLite 在 PRAGMA journal_mode = WAL 下可撑到 5000+，否则默认 DELETE 模式下每批仍锁表
别硬记数字：上线前用真实数据测——写个脚本，从 100 开始试，逐步翻倍，直到 db.Exec 开始报错或延迟陡增

钩子（Callbacks）失效、ID 不回填、时间戳全一样……这些不是 bug

这是 CreateInBatches 的设计取舍：为性能绕过大部分 ORM 开销，代价是部分语义弱化。你依赖的 BeforeCreate 只在整个批次开始前执行一次，不是每条都跑。

CreatedAt/UpdatedAt 字段若靠钩子生成，所有记录会拿到同一时间戳；解决办法：插入前手动赋值 time.Now()
自增 ID 插入后**不会自动回填到 struct 中**（哪怕你用 &users 传指针切片），这是 GORM 明确文档行为，别当 bug 提 issue
UUID 若靠钩子生成，所有记录可能拿到相同值（因没重入）；应改用 uuid.NewString() 在循环中逐条生成
需要完整钩子链？别用 CreateInBatches，老实用事务包住循环 Create——但你要接受 10 倍以上的耗时