必须在写入文件前完成脱敏,禁用“写完再扫描替换”,因会遗留明文临时痕迹;敏感词匹配应使用AC自动机而非strings.Contains或正则,因其支持嵌套词精确匹配、O(n+m)时间复杂度,推荐github.com/BobuSumisu/ahocorasick库,需预处理词库、倒序替换防偏移、归一化干扰符,并复用自动机构建实例。

写入文件前必须完成脱敏,不能依赖“写完再扫描替换”——那会留下明文临时痕迹,日志、备份、权限异常时都可能泄露。
敏感词匹配要用 AC 自动机,别用 strings.Contains 或正则
词库稍大(比如超过 200 个)时,逐个 strings.Contains 就会变慢,且无法处理嵌套词(如“苹果”和“苹果手机”同时存在时漏匹配);regexp.Compile 每次调用都编译,开销大,还容易因回溯失控。AC 自动机一次扫描就能找出所有命中位置,时间复杂度接近 O(n + m)。
- 直接用
github.com/BobuSumisu/ahocorasick库,轻量、支持 Unicode、无依赖 - 词库初始化一次:构建
ac := ahocorasick.NewAhoCorasick(words),后续复用,别每次写文件都重建 - 预处理词库:去重、
strings.TrimSpace、统一小写(若不区分大小写) - 匹配时开启重叠:
ac.FindAllStringIndex(text, true),否则“王八蛋”里的“八蛋”会被跳过
脱敏替换必须倒序处理,否则索引偏移错乱
如果从前往后替换,比如把“苹果手机”里的“苹果”替成 "****",字符串变短,后面“手机”的起始位置就变了,导致第二次替换出错或漏掉。
- 拿到所有匹配结果
[][]int后,按start倒序排序:sort.Slice(matches, func(i, j int) bool { return matches[i][0] > matches[j][0] }) - 逐个用
text = text[:start] + maskFunc(word) + text[end:]替换,确保前面修改不影响后面坐标 -
maskFunc必须按 rune 数计算长度,不是len(string):中文字符如"王"的len是 3,但utf8.RuneCountInString("王")是 1
文件写入路径要隔离脱敏与 IO,避免污染业务逻辑
不要把 AC 匹配、替换、os.WriteFile 全塞进一个函数里——那样没法单独测脱敏逻辑,也无法切换策略(比如测试时用 [REDACTED],线上用星号)。
- 定义纯函数:
func RedactText(text string, ac *ahocorasick.AhoCorasick, masker func(string) string) string - IO 层只负责打开文件、写入返回值:
os.WriteFile(path, []byte(RedactText(content, ac, starMask)), 0644) - 若内容是结构化数据(如 JSON),先
json.Marshal成字符串,再脱敏,别试图在 map 层做字段级处理——文件场景不需那么细,且易漏嵌套 - 注意文件编码:默认 UTF-8,但如果原始文本含 BOM 或 GBK,需先转码,否则 AC 匹配会失效
最容易被忽略的是词库加载时机和内存残留:如果每次写文件都 ReadFile 敏感词列表再构建 AC 实例,不仅慢,而且词库字符串会长期驻留堆上。应该在程序启动时加载并复用,且用 runtime.SetFinalizer 或显式 unsafe.Zero 清理(若词库含密钥类高危词)。
golang免费学习笔记(深入):立即使用
在学习笔记中,你将探索golang的核心概念和高级技巧!











