不是文件坏了，而是go默认将文件视为字节流且不自动探测编码；os.readfile等函数仅原样返回字节，若用string()直接解释gbk/shift-jis等非utf-8字节，就会显示乱码、问号或方块，导致strings.contains失败或json解析报错。
os.ReadFile 读出来全是乱码，是不是文件坏了？
不是文件坏了，是 Go 默认只当字节流处理，不猜编码。你看到的 或方块，本质是把 GBK/Shift-JIS 字节直接当 UTF-8 解释的结果。Go 标准库压根没做探测这一步——os.ReadFile、io.ReadAll、bufio.Scanner 全都一样，只管搬运字节。
- 常见错误现象：
strings.Contains(content, "中文")返回false；json.Unmarshal报invalid character ''；终端打印一堆问号 - 真实场景多见于：Windows 记事本保存的 .txt、爬虫抓回的老 HTML、历史遗留配置文件
- BOM 能帮一点忙：UTF-8 文件开头有
0xEF 0xBB 0xBF可被识别，但 GBK/Big5 没标准 BOM，不能依赖 - 别指望编辑器显示的“GBK”就绝对准确——VS Code 底部状态栏只是启发式推测，可能误判
怎么用 go-enry 自动探测编码？
go-enry 是目前最接近生产可用的自动探测方案，比 chardet 更轻量、更适配 Go 生态。但它不是万能的，短文本（
- 安装：
go get github.com/go-enry/go-enry/v2 - 调用方式（注意只传前 1KB 左右即可）：
encoding, confidence := enry.DetectEncoding(data[:min(len(data), 1024)])
返回的encoding可能是"UTF-8"、"GB2312"、"EUC-JP"等字符串，confidence是0.0–1.0的浮点数 - 关键阈值：
confidence 就别信，尤其对混合编码或超短文本 - 探测后必须走对应解码器：拿到
"GB2312"后，要用simplifiedchinese.GB18030.NewDecoder()，而不是硬套GBK—— GB18030 兼容性更好，且GBK在新版 x/text 中已被标记为 deprecated
流式转换大文件，为什么不能先 ReadFile 再 Bytes()？
因为会 OOM。os.ReadFile + decoder.Bytes() 会同时持有原始字节和 UTF-8 字节两份内存，几百 MB 文件直接爆内存。正确做法是用 transform.NewReader 边读边转。
- 读 GBK → UTF-8 示例：
file, _ := os.Open("in.txt")<br>defer file.Close()<br>reader := transform.NewReader(file, simplifiedchinese.GB18030.NewDecoder())<br>content, _ := io.ReadAll(reader) - 写 UTF-8 → GBK 示例：
dst, _ := os.Create("out.txt")<br>defer dst.Close()<br>writer := transform.NewWriter(dst, simplifiedchinese.GB18030.NewEncoder())<br>_, _ := io.Copy(writer, strings.NewReader("你好")) - 必须检查
io.Copy返回的 error：它不会自动传播transform错误，比如遇到无法映射的 emoji，io.Copy可能 silently 停止，而 error 是 nil - Windows 上写 GBK 文件建议加 BOM（
[]byte{0xBF, 0xBE}），否则记事本可能误读为 ANSI
decoder.String() 和 decoder.Bytes() 选哪个？
选 decoder.Bytes()。它返回 []byte，安全可直接转 string；decoder.String() 内部会先做 string(src)，对含非法序列的 GBK 数据容易 panic。
-
decoder.Bytes()：输入是[]byte，输出是 UTF-8[]byte，无 panic 风险，推荐用于所有场景 -
decoder.String()：输入是string（即先做了string(data)），若data是 GBK 字节，这一步就已乱码，再解码只会放大问题 - 如果源数据开头有 GBK BOM（
0xBF 0xBE），GB18030.NewDecoder()能自动跳过；手动bytes.TrimPrefix反而可能切掉首字符 - 错误处理策略：默认失败会返回
encoding.InvalidUnreadableError，如需容错（替换成），要用unicode.ReplaceOnError构造 decoder
io.Copy 的 error、忘了大文件必须流式处理——这三个点踩中任意一个，程序在测试环境跑得欢，上线后要么乱码，要么 OOM，要么静默丢数据。golang免费学习笔记（深入）：立即使用
在学习笔记中，你将探索golang的核心概念和高级技巧！
