Go语言中CSV格式字符串的解析：encoding/csv包的并发读取与异常容错-Golang-PHP中文网

csv.reader不支持并发读取，因内部状态机竞争会导致panic或错位；必须为每个goroutine提供独立io.reader或主线程分发行数据。

go语言中csv格式字符串的解析：encoding/csv包的并发读取与异常容错

csv.Reader 本身不支持并发读取，别直接丢进 goroutine

Go 的 csv.Reader 是状态机驱动的流式解析器，内部维护字段缓冲、引号计数、换行位置等状态。一旦多个 goroutine 同时调用 reader.Read()，会竞争修改这些状态，导致 panic（如 index out of range）或静默错位（某行字段被拆到两行）。这不是线程不安全警告，是必然崩溃。

正确做法只有两种：

每个 goroutine 拿到独立的 io.Reader：比如用 bytes.NewReader(data) 或重新 os.Open() 打开文件，再各自创建 csv.Reader
主线程逐行 Read()，把 []string 发给 worker channel —— 这才是真并发，且避免重复解码 BOM 或编码转换开销

别信“加 mutex 锁 reader 就能并发”的说法，锁住 Read() 调用只是把并发变成串行，还多一层锁开销。

捕获 csv.ParseError 才能定位真实错误行和列

csv.Reader 遇到格式问题（如引号不配对、字段数不对）返回的 error 不是普通 error，而是 *csv.ParseError 类型。直接用 fmt.Println(err) 只能看到模糊提示，比如 parse error on line 123: wrong number of fields，但你没法知道是哪一列出的问题。

必须显式类型断言：

if err != nil {
    if pe, ok := err.(*csv.ParseError); ok {
        log.Printf("CSV parse error at line %d, column %d: %v", pe.Line, pe.Column, pe.Err)
        // pe.Line 是估算行号（基于已读字节数），pe.Column 是字段索引（从 0 开始）
    }
}

注意：pe.Line 不是绝对物理行号（因为跨行字段会被合并），但比没有强；pe.Column 是当前字段在该行的序号，可用于快速检查对应列数据是否含非法字符。

Miller CSV TSV JSON 数据处理器

Miller (mlr) 是一个命令行工具，用于查询、整形和重新格式化名称索引数据，如 CSV、TSV、JSON 和 JSON Lines。它将 awk、sed、cut、join 和 sort 的功能整合到一个专为结构化数据处理而构建的单一工具中。

下载

LazyQuotes = true 不是万能开关，要配合 FieldsPerRecord

很多 CSV 来源不严格遵循 RFC 4180：有的字段漏了开头引号但结尾有（name,"Alice Smith",age），有的用中文引号“”，有的字段内双引号没转义成 ""。此时设 reader.LazyQuotes = true 能让 csv.Reader 容忍部分不规范，但它有个隐藏前提——FieldsPerRecord 必须设为 -1，否则仍会因字段数不匹配而报错。

典型配置：

reader := csv.NewReader(file)
reader.LazyQuotes = true
reader.FieldsPerRecord = -1
reader.TrailingComma = true

这三者组合才能覆盖多数脏数据场景。但要注意：LazyQuotes 开启后，遇到孤立引号（如 "abc,def"ghi）仍会失败，它只解决“半包裹”问题，不解决语法错误。

大文件 + 并发处理时，BOM 和编码转换必须前置完成

如果你走“主线程读、channel 分发”这条路，BOM 剥离和 GBK 转 UTF-8 必须在创建 csv.Reader 之前做完。一旦把原始 *os.File 或网络响应体直接传给多个 csv.NewReader，每个 reader 都会尝试自己处理 BOM —— 结果是第一个 reader 成功跳过，后续 reader 把 BOM 当作非法 UTF-8 字节，直接报 invalid UTF-8。

实操顺序固定为：

用 os.Open() 打开文件 → 得到 *os.File
读全部字节（io.ReadAll()）或用 bufio.NewReader 预读前 1024 字节检测 BOM/编码
用 bytes.TrimPrefix() 去 BOM，再用 golang.org/x/text/encoding/simplifiedchinese.GBK.NewDecoder().Bytes() 转码（如果需要）
用 bytes.NewReader(cleanedData) 创建新 reader，再喂给 csv.NewReader()