Go语言中高效插入MySQL数据并获取自增ID的正确实践-Golang-PHP中文网

Go语言中高效插入MySQL数据并获取自增ID的正确实践

本文讲解如何在go中批量插入mysql数据时避免“max_prepared_statements”错误，核心在于复用预编译语句（prepare一次、exec多次），而非循环内重复prepare，并安全获取每条记录的lastinsertid。

本文讲解如何在go中批量插入mysql数据时避免“max_prepared_statements”错误，核心在于复用预编译语句（prepare一次、exec多次），而非循环内重复prepare，并安全获取每条记录的lastinsertid。

在Go中使用database/sql操作MySQL时，为提升大批量插入性能，通常推荐使用预编译语句（db.Prepare）。但一个常见误区是：将db.Prepare()误置于循环内部——这会导致每次迭代都创建一条新预编译语句，迅速耗尽MySQL服务端的max_prepared_statements限制（默认16382），最终触发ERROR 1461: Can't create more than max_prepared_statement_count statements。

✅ 正确做法是：*Prepare仅执行一次，在循环外完成；随后在循环内复用同一`sql.Stmt对象调用Exec()`**。这样既保证性能，又避免资源泄漏。

以下是优化后的完整示例：

MySQL

编写正确的MySQL查询，避免字符集、索引和锁方面的常见陷阱。

下载

// ✅ 正确：Prepare只调用一次（在循环外）
stmt, err := db.Prepare("INSERT INTO info (title, minimage, downloadfile, rating, peoplewatched, likes) VALUES (?, ?, ?, ?, ?, ?)")
if err != nil {
    log.Fatal("Prepare failed:", err)
}
defer stmt.Close() // 关键：确保最后关闭stmt，释放服务端资源

// ✅ 在循环内复用stmt
for _, item := range dataSlice { // 假设dataSlice含270k条记录
    res, err := stmt.Exec(
        item.Title,
        item.MinImage,
        item.DownloadFile,
        item.Rating,
        item.PeopleWatched,
        item.Likes,
    )
    if err != nil {
        log.Printf("Exec failed for %v: %v", item.Title, err)
        continue
    }

    // ✅ 安全获取当前插入行的自增ID（仅对单行INSERT有效）
    id, err := res.LastInsertId()
    if err != nil {
        log.Printf("Failed to get LastInsertId: %v", err)
        continue
    }
    fmt.Printf("Inserted row with ID: %d\n", id)
}

⚠️ 重要注意事项：

LastInsertId() 仅在单行INSERT且表主键为AUTO_INCREMENT时可靠返回刚插入的ID；若执行多行INSERT（如INSERT ... VALUES (...), (...)），该值行为未定义，应避免。
必须调用 defer stmt.Close() 或显式 stmt.Close() —— 否则预编译语句不会从MySQL服务端释放，仍会占用max_prepared_statements配额。
若需更高吞吐量（如270k+行），可进一步优化：使用事务批量提交（例如每1000行Commit一次），或改用INSERT ... VALUES (...), (...), ...多值语法（此时无法用LastInsertId()获取每行ID，需业务层自行生成UUID或采用其他ID策略）。
不要通过调大MySQL的max_prepared_statements参数来掩盖代码缺陷——根本解法是复用*sql.Stmt。

总结：性能与健壮性源于正确的资源管理。Prepare once, Exec many, Close explicitly —— 这是Go操作MySQL预编译语句的黄金法则。