Golang处理特定编码格式文件读写的转码技巧-Golang-PHP中文网

必须用simplifiedchinese.gbk或gb18030.newdecoder().bytes()解码gbk字节为utf-8字符串，不可直接string(os.readfile())；大文件需transform.newreader流式处理，错误须检查encoding.errinvalidutf8等。

golang处理特定编码格式文件读写的转码技巧

读取 GBK/GB18030 文件时直接 `os.ReadFile` 会乱码

Go 原生只认 UTF-8，os.ReadFile 返回的 []byte 如果源文件是 GBK 编码，直接 string(data) 就是乱码——这不是 bug，是设计使然。关键在于：不能跳过解码步骤，也不能依赖系统 locale。

别用 strings.ToValidUTF8 或简单 replace 修乱码，那只是掩盖问题
必须先用对应编码器解码成 UTF-8 字符串，或保持 []byte 流式处理
simplifiedchinese.GBK 支持 GBK 和大部分 GB18030 子集；若遇到四字节 GB18030 字符（如“?”），需改用 simplifiedchinese.GB18030
检测编码不能只靠文件后缀（如 .txt），得用 chardet 或 golang.org/x/net/html/charset 的 DetermineEncoding

`golang.org/x/text/transform` 是核心转码入口

所有编码转换都绕不开 transform.NewReader + 具体编码器的组合。它不加载整个文件到内存，适合大文件流式处理。

Alibabacloud Sdk Client Initialization For Golang

初始化并管理阿里云SDK Go 客户端，涵盖 sync.Once 单例、goroutine 安全、endpoint 与 region 配置、VPC 端点及调试。

下载

从 GBK → UTF-8：transform.NewReader(bytes.NewReader(data), simplifiedchinese.GBK.NewDecoder())
从 UTF-8 → GBK：transform.NewReader(bytes.NewReader(data), simplifiedchinese.GBK.NewEncoder())
错误处理要检查 io.ErrUnexpectedEOF 和 encoding.ErrInvalidUTF8，尤其在部分截断的 GBK 字节上
别用 io.Copy 直接写入文件，除非目标文件句柄已设为 binary 模式；否则 Windows 下可能多出 \r\n 干扰解码

用 `mahonia` 还是 `golang.org/x/text`？

mahonia 简单直接，但维护停滞（最新 commit 在 2019 年），且不支持 GB18030 四字节扩展；x/text 是官方推荐、持续更新、覆盖全（含 Shift-JIS、EUC-KR、Big5），但包路径长、初始化稍啰嗦。

新项目一律选 golang.org/x/text，尤其是需要处理日文、繁体中文或混合编码时
如果只读固定 GBK 日志且无法升级依赖，mahonia.NewDecoder("gbk") 仍可用，但注意它返回 string 而非 []byte，无法做零拷贝处理
go get golang.org/x/text 失败时，手动 clone 到 $GOPATH/src/golang.org/x/text 是唯一可靠方式——代理或 GOPROXY 配置错误会导致 ianaindex 等子包缺失

写入非 UTF-8 文件时，`os.Create` 后不能直接 `WriteString`

WriteString 总是按 UTF-8 写入字节，想输出 GBK 文件，必须把字符串先转成 GBK 字节流再写。

正确做法：构造 transform.Writer 包裹文件句柄，再调用 Write（不是 WriteString）

示例：

w := transform.NewWriter(file, simplifiedchinese.GBK.NewEncoder())
w.Write([]byte("你好")) // ✅
// w.WriteString("你好") // ❌ 会写 UTF-8 字节

关闭前务必调用 w.Close()，否则末尾可能丢字节（encoder 内部 buffer 未 flush）
如果写入内容含无效字符（如 UTF-8 中的控制字符），GBK.NewEncoder() 默认静默替换为；如需报错，要用 unicode.BOMOverride 或自定义 transform.Nop 替换策略