go读gbk等非utf-8文件必须用simplifiedchinese.gb18030显式编解码，因os.readfile仅返回原始字节且不转换编码；直接string()强转或忽略bom/编码探测会导致乱码；大文件需用transform.newreader流式处理，错误必须校验而非忽略。
Go 读写非 UTF-8 文件（如 GBK）必须显式编解码，不能靠 string() 强转或 os.ReadFile 直接当字符串用——否则中文全变 或乱码字节。
为什么 os.ReadFile 读 GBK 文件会乱码
因为 os.ReadFile 只返回原始 []byte，不检测也不转换编码。Windows 记事本保存的“ANSI”文件在简体中文系统下基本是 GBK，但 Go 默认按 UTF-8 解释这些字节，结果就是非法 UTF-8 序列 → 解码失败 → 显示 。
- 不是文件损坏，是解码方向错了：你拿到的是 GBK 字节流，却用 UTF-8 解码器去读
-
strings.ToValidUTF8没用——它只把非法 UTF-8 替换成，不会反向还原成 GBK 原文 - 别信文件后缀（
.txt）、别猜系统 locale，真实编码得靠内容判断（BOM 或探测库）
用 simplifiedchinese.GB18030 而不是 GBK 解码
官方 golang.org/x/text/encoding/simplifiedchinese 中的 GBK 已被标记为 deprecated；GB18030 是它的超集，兼容所有 GBK 字符，还支持四字节扩展汉字（如“?”、“〇”），且能正确处理 GB2312 子集。
- 初始化：
decoder := simplifiedchinese.GB18030.NewDecoder() - 解码单次字节：
utf8Bytes, err := decoder.Bytes(gbkBytes)—— 返回合法 UTF-8[]byte，此时string(utf8Bytes)才安全 - 若源数据含 UTF-8 BOM（
0xEF, 0xBB, 0xBF），GB18030能容忍；但 GBK 编码本身无 BOM，若文件开头有 GBK 不识别的前缀字节（如误写的 BOM），需提前截掉 - 错误常见：
encoding.InvalidUnreadableError（字节序列不合法，如截断的双字节）或encoding.ErrUnsupported（字符超出 GB18030 范围）
大文件必须用 transform.NewReader 流式处理
一次性读全再解码容易 OOM，尤其 >10MB 的日志或导出文件。正确做法是让解码器嵌在 IO 链路中，边读边转。
- 示例（GBK → UTF-8）：
src, _ := os.Open("in.txt") defer src.Close() reader := transform.NewReader(src, simplifiedchinese.GB18030.NewDecoder()) data, _ := io.ReadAll(reader) // data 是 UTF-8 []byte - 写入 GBK 文件同理：
writer := transform.NewWriter(dst, simplifiedchinese.GB18030.NewEncoder())，然后io.Copy(writer, utf8Reader) - 别用
io.WriteString直接写文件——它强制 UTF-8 编码；必须先过编码器，再写原始字节 - 注意：
transform.Reader和transform.Writer对错误敏感，io.Copy返回非 nil error 时，很可能已部分写入，需清理或重试
写 GBK 文件要不要加 BOM
GBK 规范不定义 BOM，加了反而可能被某些工具误判。但 Windows 记事本识别 GBK 文件依赖前两个字节 0xA1, 0xA1（不是标准 BOM），实际中极少用。
- 绝大多数场景：不加 BOM，直接写纯 GBK 字节即可
- 仅当对接特定老系统（如某国产 ERP 客户端）明确要求带
0xA1, 0xA1开头时，才手动 prepend：append([]byte{0xA1, 0xA1}, gbkBytes...) - 千万别往 GBK 文件里写 UTF-8 BOM（
0xEF, 0xBB, 0xBF）——那会破坏 GBK 数据完整性 - 如果目标程序连无 BOM 的 GBK 都打不开，问题不在 Go，而在对方没正确声明编码，应推动对方修复
最易被忽略的点：错误处理不是可选项。一次 decoder.Bytes() 失败，可能只是某一行含不可映射造字，但若忽略 err，后续所有字符串操作都基于错误数据——而 Go 不会 panic，只会静默输出错乱结果。
golang免费学习笔记（深入）：立即使用
在学习笔记中，你将探索golang的核心概念和高级技巧！
