os.readfile处理大文件必然oom，因其一次性全量加载到内存；应改用bufio.scanner按行、csv.reader按记录或分块流式读取，并显式设置缓冲区大小以防扩容失败。
大文件读取不能一次性 os.ReadFile
超过几十 MB 的 CSV 或纯数字文本，用 os.ReadFile 会直接 OOM——Go 不做内存映射，默认全载入内存。真实场景中，100MB 文件在 2GB 内存机器上就可能 panic。
必须流式读取：bufio.Scanner 按行、encoding/csv.Reader 按记录、或 bytes.NewReader + 分块解析。注意 Scanner 默认缓冲区只有 64KB，遇到超长行会报 bufio.Scanner: token too long，需提前调 scanner.Buffer(make([]byte, 64*1024), 1 扩容。
- 纯数字文本（每行一个数）：用
bufio.Scanner最轻量 - CSV 带表头/多列：用
encoding/csv.Reader，但别依赖gocsv自动转类型——空字段或格式错直接 panic - 二进制浮点数组（如
float64序列）：用binary.Read配合io.ReadFull分批读，避免字节对齐错误
计算平均值时 sum 和 count 必须分开维护
不能先收集所有值再调 Mean()——那等于又把数据全 load 进内存。要边读边累加：sum += value、count++，最后算 sum / float64(count)。
关键细节：
-
sum类型选float64：整数累计也转成float64，避免 int64 溢出（比如 10 亿个 100 万的数相加） - 除零检查必须有：
if count == 0 { return 0, errors.New("empty file") }，否则NaN或 panic - 不要用
float32累加：小数多时误差累积明显，尤其百万级以上样本
CSV 中非数字字段怎么跳过或容错？
真实数据总有脏行：空行、注释行（# 开头）、字段缺失、字符串混入数字列。硬解析必然崩溃。
推荐做法是「先读字符串，后转换」：
- 用
csv.Reader读出[]string行，跳过长度不符的行 - 对目标列（比如第 3 列）调
strconv.ParseFloat(line[2], 64)，检查err != nil - 忽略错误行 or 记录日志（用
log.Printf("line %d parse failed: %v", lineNum, err)） - 别用
gocsv的optionaltag 做兜底——它只跳空字段，不处理"N/A"或"-"
需要更高性能？考虑 arrow/go/arrow 但别滥用
arrow/go/arrow 对大文件（>100MB）或 Parquet 场景确实快，但它不是“加速平均值”的银弹。
典型误用：
- 读 5MB CSV 就引入 Arrow：编译慢、二进制大、启动开销高，实际比原生
csv.Reader还慢 - 没配
memory.Allocator：默认用runtime.MemStats，GC 压力陡增 - 版本踩坑：
arrow/v12+要求 Go ≥ 1.19，CI 里GOVERSION=1.18直接构建失败
真正值得切 Arrow 的信号只有两个：文件是 Parquet 格式，或者你后续要和 Python/Polars 做 IPC 共享内存数据。
golang免费学习笔记（深入）：立即使用
在学习笔记中，你将探索golang的核心概念和高级技巧！
