csv读取中文乱码需先用golang.org/x/text/encoding解码原始字节流再交csv.newreader；sqlx.in批量插入应分批（如每批1000行）并用sqlx.rebind适配方言；struct应物理隔离csvrow和dbrecord并手动转换；大文件导入须逐行读、限并发、分事务提交。
csv.NewReader 读取文件时中文乱码怎么办
Go 标准库 csv.NewReader 默认按 UTF-8 解析，如果 CSV 文件是 GBK、GB2312 或其他编码（比如 Excel 直接另存为的 CSV），会直接读出乱码甚至报 invalid UTF-8 错误。
解决方法不是“转码后喂给 csv.NewReader”，而是先用 golang.org/x/text/encoding 解包原始字节流，再把解码后的 []byte 交给 csv.NewReader：
- 先用
encoding/gbk.NewDecoder().Bytes()或encoding/GBK.DecodeString()转换原始内容（注意：不能直接对*os.File做 decode，必须读全再转） - 避免边读边解码——
csv.Reader内部有缓冲和行切分逻辑，提前 decode 整个文件更可控 - Windows 上用 Excel 保存的 CSV 很可能带 BOM，
utf8.BOM开头会被当普通字符读入第一列，建议用bytes.TrimPrefix(data, []byte("\xef\xbb\xbf"))清理
sqlx.In 配合批量插入时 placeholder 数量超限怎么处理
PostgreSQL 和 MySQL 对单条 SQL 的参数数量有限制（MySQL 默认 65535，但实际受 max_allowed_packet 影响；PostgreSQL 则在 prepare 阶段就报错 too many parameters）。用 sqlx.In 拼 INSERT INTO ... VALUES (?, ?), (?, ?), ... 时，很容易撞上这个墙。
核心思路是「分批」，但别手动拆 slice——sqlx.In 返回的是 query string 和 args []interface{}，你需要自己控制每批最多多少组值：
- 按每批 1000 行（或根据字段数反推参数总数 ≤ 5000）切分原始数据 slice
- 对每批调用一次
sqlx.In，再用sqlx.Rebind绑定方言（如postgres要转成$1, $2） - 不要把所有
args合并后一次性传给db.Exec，那是越界根源
struct tag 里 csv 和 db 标签冲突怎么协调
一个结构体既要被 csvutil.Unmarshal（或手写映射）解析 CSV 行，又要被 sqlx.StructScan 映射数据库查询结果，两边 tag 名都叫 csv 和 db，但字段顺序、空值处理、类型转换逻辑常常不一致。
在 Golang 中使用 samber/hot 进行内存缓存，支持 LRU、LFU、TinyLFU、W‑TinyLFU、S3FIFO、ARC、TwoQueue、SIEVE、FIFO 等淘汰算法，提供 TTL、缓存加载器及分片功能。
最省事的做法是「物理隔离」：不用同一 struct 承担两种职责：
- 定义
CSVRowstruct，只带csvtag，用于解析原始 CSV 行（字段类型尽量用string或*string，避开解析失败） - 定义
DBRecordstruct，只带dbtag，用于插入或查询 - 写一个轻量转换函数，比如
func (r *CSVRow) ToDB() *DBRecord，在里面做非空校验、时间格式 parse、默认值填充等业务逻辑 - 别依赖反射自动转换——CSV 字段缺失时
csv.Read会跳过该字段，但 struct 字段若没对应 tag 就永远收不到值，静默丢数据
大文件导入时内存暴涨、goroutine 泄漏怎么压住
用 csv.NewReader(file) + ReadAll() 读几 MB 的 CSV 看不出问题，但一旦到 100MB+，ReadAll 会把整张表加载进内存，GC 压力大，还可能 OOM；如果改成 for record := range reader.Read() 却忘了控制并发，起一堆 goroutine 跑 db.Exec，又容易打爆数据库连接池。
关键约束点就两个：内存上限、并发度：
- 永远用
reader.Read()逐行读，配合sync.Pool复用[]string切片（避免高频 alloc） - 用
semaphore（比如golang.org/x/sync/semaphore）控并发，比如设Weight: 1，最大 5 个 goroutine 同时写 DB - 每 1000 行 commit 一次事务（
tx.Commit()），别等全部读完再 commit——否则事务太长锁表，且失败时回滚代价高
真正难的不是读或写，是 CSV 字段里混着换行符（\n）、引号、逗号，而 csv.Reader 默认能处理，但你若提前按 \n 切行再喂给它，就彻底毁了格式。这事得信标准库，别自己 split。
golang免费学习笔记（深入）：立即使用
在学习笔记中，你将探索golang的核心概念和高级技巧！
