go读非utf-8文件必然乱码，除非显式解码；os.readfile只返回原始[]byte，string()强制按utf-8解释gbk等字节导致非法序列，需用golang.org/x/text/encoding指定解码器如simplifiedchinese.gbk.newdecoder()。
Go 读非 UTF-8 文件必然乱码，除非你显式解码——它不猜、不兼容、不 fallback，只认 UTF-8 字节流。
os.ReadFile 为什么直接转 string 就是乱码
因为 os.ReadFile 只返回原始 []byte，Go 不做任何编码解释；string(data) 这一步强制把字节当 UTF-8 解释，而 GBK/Shift-JIS 等编码的字节序列在 UTF-8 规则下就是非法序列，结果就是 或截断。这不是 bug，是设计使然。
-
strings.Contains(string(data), "中文")返回 false —— 实际字节是 GBK 编码的0xD6, 0xD0, 0xCE, 0xC4，UTF-8 解释成两个无效 rune -
json.Unmarshal报invalid character '' in string literal—— 引号或冒号被错解，JSON 结构已破坏 - 用
utf8.Valid(data)检查返回 false，但别急着用strings.ToValidUTF8擦除：语义丢了，搜不到原文，也恢复不了
用 golang.org/x/text/encoding 显式解码（推荐，确定编码时）
这是最稳的路径：你知道文件是 GBK，就用 simplifiedchinese.GBK.NewDecoder()；是 Shift-JIS，就用 japanese.ShiftJIS.NewDecoder()。别用 GB2312 —— 它不兼容“镕”“堃”等扩展汉字，会 panic 或丢字。
使用 uber-go/dig 在 Golang 中实现依赖注入——基于反射容器，提供 Provide/Invoke、dig.In/dig.Out 参数与结果对象，支持命名依赖等
- 解码器必须用
transform.NewReader包裹io.Reader，不能直接对[]byte调decoder.Bytes()（可能 panic） - 大文件别先
os.ReadFile全读进内存再解码，应os.Open后链式处理：transform.NewReader(file, decoder) - BOM 需手动跳过：
bytes.TrimPrefix(data, []byte{0xEF, 0xBB, 0xBF})，该包不自动识别 - 错误处理建议设为
unicode.ReplacementChar，避免因单个坏字中断整流
用 go-enry 或 chardet 做编码探测（不确定编码时）
自动探测不是魔法，是概率游戏。go-enry 是目前最接近生产可用的选项，但 enry.DetectEncoding(data) 返回的 confidence 常虚高，尤其对短文本（
- 永远只检测前 4096 字节：
data[:min(len(data), 4096)]，避免大文件拖慢启动 confidence 时别信结果，fallback 到人工约定（如 Windows 日志默认 GBK，旧网页 HTML 头声明优先）- 探测完立刻复用 buffer：用
bytes.NewReader(buffer)构造 reader，别二次os.ReadFile - 检测后仍要用对应解码器重读全文，别拿探测用的 buffer 直接当内容用（可能被 BOM 或空行污染）
bufio.Scanner 逐行读时怎么防乱码崩溃
bufio.Scanner 默认按 UTF-8 解析换行符，遇到非法字节会静默失败或 panic（取决于 Go 版本），不可靠。真要逐行处理非 UTF-8 文件，得绕过 Scanner。
- 用
bufio.NewReader+ReadBytes('\n')获取原始[]byte行，再交给解码器转string - 别用
scanner.Text()，它内部调string()强制 UTF-8 解释，已废 - 如果必须 range 字符串，别用
for _, r := range s—— 改用字节索引循环 +utf8.DecodeRuneInString(s[i:])显式判 size - 日文 Shift-JIS 文件常带开头
\x00，解码后记得strings.TrimSpace
最麻烦的不是解码本身，而是同一份文件在不同编辑器里保存方式不同：记事本存 GBK 不带 BOM，VS Code 可能存带 BOM 的 UTF-8，Sublime 可能混用 CR/LF。别指望一次探测覆盖所有场景，得结合来源上下文做 fallback 判断。
golang免费学习笔记（深入）：立即使用
在学习笔记中，你将探索golang的核心概念和高级技巧！
