Fiber中读CSV需用c.Request().Body()配合bufio.NewReaderSize再交由encoding/csv.NewReader处理,禁用c.Body()防OOM;multipart用c.FormFile获取文件,务必跳BOM、设FieldsPerRecord=-1、先读header建字段索引映射。

Fiber 本身不解析 CSV,得靠标准库 encoding/csv 配合 bufio.Reader —— 直接用 c.Body() 或 c.MultipartForm() 拿到原始字节后,就进标准 CSV 流程了。
怎么从 Fiber 请求里读 CSV 文件(含 multipart 和 raw body)
用户上传 CSV,常见两种方式:表单 multipart 或纯 POST body。Fiber 不自动解 CSV,你得自己接管字节流。
- 如果是
multipart/form-data:用c.FormFile("file")拿到*multipart.FileHeader,再f.Open()得到io.ReadCloser;别直接ReadAll,套bufio.NewReaderSize(r, 64*1024) - 如果是
text/csv或application/octet-stream:用c.Body()拿[]byte,但注意大文件会爆内存;更稳妥是用c.Request().Body()获取原始io.ReadCloser,再包bufio - 必须手动跳 BOM:
bytes.TrimPrefix(buf.Bytes(), []byte("\xef\xbb\xbf")),否则中文字段名一解析就错位 - 字段数不固定(比如备注列含换行或逗号)?设
reader.FieldsPerRecord = -1,不然某行少一列直接 panic
为什么不能直接用 csv.NewReader(c.Body())
因为 c.Body() 返回的是完整内存拷贝,不是流;大文件(>10MB)直接 OOM。更糟的是,csv.NewReader 期望一个可重复读、支持 buffer 的 io.Reader,而 []byte 不满足流式语义。
- 错误写法:
csv.NewReader(bytes.NewReader(c.Body()))—— 内存双倍占用,且无法处理跨 buffer 的引号换行 - 正确路径:用
c.Request().Body()→bufio.NewReaderSize(...)→csv.NewReader(...) - 如果用了
Bind()或中间件提前读过 body,Body()就为空了——Fiber 的 body 只能读一次,这点比 Gin 更严格 - 测试时用
curl -F "file=@data.csv" http://localhost:3000/import,别用 JSON 工具发,multipart 头必须匹配
批量导入数据库时怎么避免卡死和丢数据
CSV 解析完不是终点,往数据库写才是性能黑洞。关键在“流式解析 + 分批事务”,不是把所有行先存 slice 再 insert。
- 每读 1000 行,就调一次
stmt.Exec();PostgreSQL 建议 5000 行/批,MySQL 别超 10000,否则触发max_allowed_packet - 别用
db.Query("INSERT ... VALUES (?, ?), (?, ?)")拼多值——Go 的database/sql不支持动态占位符数量,得手动生成(?, ?), (?, ?)字符串 - 事务控制:用
tx, _ := db.Begin()包住整批,成功后tx.Commit(),失败立刻tx.Rollback();别等全部读完再 commit,长事务锁表 - 错误定位要带行号:在
for i := 0; ; i++循环里解析,err发生时记录i+2(+1 是 header 行,+1 是 0 起始),否则用户根本找不到哪行崩了
字段映射错位、空值、类型转换这些坑怎么填
CSV 没 schema,字段顺序一变,row[0] 就可能把电话塞进邮箱字段。结构体标签(如 csv:"email")没用——csv.Reader 根本不看它。
- 必须先读 header:
header, _ := reader.Read(),再建map[string]int,比如colIndex["email"] = 2 - 取值时统一用
row[colIndex["email"]],缺失字段就跳过或设默认值,别硬写row[2] -
strconv.Atoi前必做strings.TrimSpace,空字符串直接 panic;时间字段用time.Parse,别信 Excel 导出的 “2026-11-03” 字符串一定合法 - 导出 CSV 给用户下载时,第一行写
\xEF\xBB\xBF(UTF-8 BOM),否则 Windows Excel 打开全是方块
真正难的不是读 CSV,而是当用户传了个 500MB、字段顺序乱、含千条非法日期的文件时,你的服务还能返回清晰错误行号、不崩、不锁库、不漏数据——这些细节都在 bufio 缓冲大小、BOM 处理、字段索引映射和事务粒度里,不在框架文档里。
golang免费学习笔记(深入):立即使用
在学习笔记中,你将探索golang的核心概念和高级技巧!











