postgresql 批量插入应优先用 pgx 的 copyfrom，而非 database/sql 的 exec 循环；它基于 copy 协议，绕过 sql 解析，万条数据仅需 200ms，但要求字段顺序与类型严格匹配表结构，且不支持 mysql 或 sqlite。
Go 里用 database/sql 批量插入太慢？别硬扛，换 CopyFrom
PostgreSQL 用户最常踩的坑：用 Exec 循环插一万条，跑十分钟。不是 Go 慢，是没走对路——pgx 的 CopyFrom 能把同样操作压到 200ms 内。
适用场景很明确：数据已加载进内存（比如 CSV 解析完、API 响应解析完），且目标库是 PostgreSQL。MySQL 或 SQLite 没这接口，别硬套。
-
CopyFrom底层走的是 PostgreSQL 的COPY协议，绕过 SQL 解析和事务开销，单次网络往返传全部数据 - 必须用
pgx（不是database/sql标准驱动），导入前确保字段顺序、类型和表结构严格一致 - 别在
CopyFrom前手动开事务——它自己会建隐式事务；出错时整个批次回滚，不支持部分成功 - 示例关键片段：
_, err := conn.CopyFrom(ctx, pgx.Identifier{"users"}, []string{"id", "name", "email"}, dataRows)其中dataRows是[][]interface{}，每行对应一行数据
CSV 文件读太快但内存爆了？用 csv.Reader 流式处理 + 分批 CopyFrom
直接 os.ReadFile 读几个 GB 的 CSV，Go 程序秒变内存杀手。真实生产环境没人这么干。
核心思路就一条：不全读，边读边转边送。重点不是“怎么读 CSV”，而是“怎么不让数据在内存里堆成山”。
- 用
csv.NewReader(file)配合Read()逐行读，每读 1000 行就塞一次CopyFrom，清空缓存切片 - 注意
csv.Reader默认字段数量上限是 4096，超长行会报record on line X: field larger than field limit，提前调r.FieldsPerRecord = -1 - 别用
strings.Split手动解析 CSV——引号、换行、转义全得自己啃；csv.Reader已处理好这些 - 如果源 CSV 编码不是 UTF-8（比如 GBK），必须先用
golang.org/x/text/encoding转码，否则CopyFrom会报invalid byte sequence
导入中途出错，怎么定位哪一行坏了？
CopyFrom 报错时默认只给 “pq: COPY failed: …”，不告诉你第几行、哪个字段。靠日志肉眼扫？不可能。
真正能落地的方案只有两个：预校验 + 行号绑定。
- 在调
CopyFrom前，遍历dataRows，对每个字段做基础检查（非空、长度、数字格式），失败时记录当前索引（即原始 CSV 行号+1） - 把原始 CSV 行号作为第一列塞进
dataRows，哪怕数据库表不需要；出错后从错误信息反推原始位置 - 别依赖
pgx.Batch——它本质是并发多条Exec，错误堆栈混乱，且无法获得原始行上下文 - 常见错误如
ERROR: invalid input syntax for type integer: ""，说明某行某个 int 字段是空字符串，不是 NULL；要么前端补默认值，要么 DB 改字段为INT NULL
MySQL 用户别抄 PostgreSQL 的作业
看到上面 CopyFrom 心动？先看自己连的是啥库。MySQL 原生不支持 COPY 协议，LOAD DATA INFILE 是唯一接近的方案，但限制极多。
-
LOAD DATA INFILE要求文件在 MySQL 服务端磁盘上，Go 进程本地的 CSV 传不过去；想用就得先scp或挂共享存储 - MySQL 驱动
go-sql-driver/mysql不支持LOAD DATA的参数化，SQL 字符串拼接容易被注入，尤其字段含制表符或换行时 - 真要批量插 MySQL，老实用
INSERT INTO t VALUES (),(),()...拼批语句，单次最多 1000 行（避免 max_allowed_packet 超限），配合Exec执行 - 别信“加事务就能提速”的说法——事务只减少 commit 开销，瓶颈在 SQL 解析和索引更新；该建的索引一个不能少，导入前可临时
DROP INDEX，导完再建
跨数据库的“批量导入”没有银弹。PostgreSQL 的 CopyFrom 和 MySQL 的批插逻辑、错误处理、资源控制，全是两套东西。混用只会让问题更模糊。
golang免费学习笔记（深入）：立即使用
在学习笔记中，你将探索golang的核心概念和高级技巧！
