go 使用 go-sql-driver/mysql 单条 insert 限 150 行后报错，本质是未正确处理错误、误用 query 方法、缺乏连接池与预编译优化所致；应改用 exec + prepare + 连接池配置，并捕获真实错误原因。
go 使用 go-sql-driver/mysql 单条 insert 限 150 行后报错，本质是未正确处理错误、误用 query 方法、缺乏连接池与预编译优化所致；应改用 exec + prepare + 连接池配置，并捕获真实错误原因。
在使用 go-sql-driver/mysql 向 MySQL 批量插入电影数据（如 OMDB 数据集）时，若单条 INSERT 语句仅执行约 150 次便失败，通常并非数据库硬性行数限制，而是由以下常见问题叠加导致：
❌ 常见错误实践
- 误用 Query() 执行非查询操作：Query() 专为 SELECT 设计，会隐式保留结果集资源；对 INSERT 应使用 Exec() 或预编译后的 Stmt.Exec()。
- 忽略错误返回值：原代码中 err 未被检查或日志化，掩盖了真实错误（如 ERROR 1040: Too many connections 或 context deadline exceeded）。
- 未配置连接池：默认 *sql.DB 的 MaxOpenConns 为 0（无限制），但 MySQL 服务端有 max_connections 上限（常为 151），高频短连接极易触发连接耗尽。
- 未复用预编译语句：每次 Query() 都需服务端解析 SQL，高并发下造成性能瓶颈与连接/内存压力。
✅ 正确做法：连接池 + 预编译 + Exec
// 1. 初始化 DB 并配置连接池（推荐）
db, err := sql.Open("mysql", "user:pass@tcp(127.0.0.1:3306)/dbname?parseTime=true")
if err != nil {
log.Fatal("failed to open db:", err)
}
// 设置最大打开连接数（建议 ≤ MySQL 的 max_connections - 10）
db.SetMaxOpenConns(50)
// 设置空闲连接数（避免频繁创建销毁）
db.SetMaxIdleConns(20)
// 设置连接最大存活时间（防 stale connection）
db.SetConnMaxLifetime(30 * time.Minute)
// 2. 预编译 INSERT 语句（复用解析计划，提升性能）
stmt, err := db.Prepare("INSERT INTO movies (name, year, release_date, full_plot, genre, imdb_id) VALUES (?, ?, ?, ?, ?, ?)")
if err != nil {
log.Fatal("failed to prepare statement:", err)
}
defer stmt.Close() // 注意：仅关闭 Stmt，不关闭 db
// 3. 批量插入（示例：单条语句插入一行）
for _, movie := range movies {
_, err := stmt.Exec(movie.Name, movie.Year, movie.ReleaseDate,
movie.FullPlot, movie.Genre, movie.IMDBID)
if err != nil {
log.Printf("failed to insert movie %s: %v", movie.Name, err)
// 可选择 continue（跳过单条）或 return（终止批量）
continue
}
}
? 排查建议（必做）
- 打印完整错误：log.Printf("SQL error: %+v", err) —— 很可能显示 dial tcp: i/o timeout（网络/连接池耗尽）或 Error 1040: Too many connections。
-
检查 MySQL 状态：
SHOW VARIABLES LIKE 'max_connections'; SHOW STATUS LIKE 'Threads_connected';
- 启用慢日志与连接监控：确认是否因未关闭 rows 或长事务导致连接泄漏。
? 进阶优化（万级+数据）
- 对超大批量场景，改用 多值 INSERT（如 INSERT INTO ... VALUES (...), (...), (...)），单次插入 100–500 行，显著减少往返次数；
- 结合 sync.Pool 复用 []interface{} 参数切片；
- 使用事务包裹批量操作（注意 autocommit=false 下的锁粒度与内存占用）。
总之，150 行瓶颈是典型“资源管理失当”的信号。通过正确选用 Exec、显式错误处理、合理配置连接池及预编译语句，可稳定支撑数千乃至百万级插入任务。
