不能用os.ReadFile+strings.ReplaceAll,因会OOM、中文emoji被切碎、重叠敏感词漏匹配;须流式读取+AC自动机+rune级定位+带重叠缓冲分块处理。

直接读整个文件进内存再用 strings.ReplaceAll 做敏感词替换,线上一跑大日志就 OOM;真正能落地的方案必须流式读取 + 多模式匹配,且敏感词位置得按 rune 算,不是 byte。
为什么不能 os.ReadFile + strings.ReplaceAll
常见错误是把 200MB 的日志文件一次性加载进内存,再对每个敏感词调一次 strings.ReplaceAll。问题有三个:
-
strings.ReplaceAll每次都生成新字符串,500 个敏感词 = 500 次全量拷贝,GC 压力爆炸 - Go 字符串底层是只读字节数组,中文、emoji 会被切碎——
len("王") == 3,但rune长度才是 1 - 敏感词如 “王八” 和 “王八羔子” 是重叠的,
ReplaceAll扫一遍就停,漏掉更长匹配
用 ahocorasick 流式匹配,但注意 start/end 是字节偏移
BobuSumisu/ahocorasick 是目前最稳的纯 Go AC 自动机库,支持 Unicode,无 CGO。但它返回的 start 和 end 是字节位置,不是 rune 索引:
- 遇到中文或 emoji,别直接用
line[start:end]切——那会切出非法 UTF-8 - 正确做法:先转
chars := []rune(line),再用utf8.RuneCountInString(line[:start])把字节偏移转成rune索引 - 或者更简单:用
strings.Builder拼接结果,每次builder.WriteString(line[prev:end])+builder.WriteString("***"),避免切片
跨行敏感词怎么处理?加缓冲区比换行符可靠
用 bufio.Scanner 按行读很常见,但“违\n法”这种词会被拆在两行,直接漏掉。解决方案不是改用 bufio.NewReader 读整文件,而是分块带重叠缓冲:
- 每次读 64KB(
bufio.NewReader(fp).Read(p)) - 保留末尾最多 100 字节(或 50
rune),拼到下一块开头 - 缓冲区长度得大于最长敏感词的字节数(建议预估后 +20% 安全余量)
- 匹配时只对“有效内容”部分做
trie.FindAllWordIndexes,缓冲区部分跳过报告,但参与匹配路径
替换逻辑别写死星号,按业务场景选策略
同一个过滤引擎,不同场景行为完全不同:
- 日志脱敏(审计系统):用
strings.Repeat("*", utf8.RuneCountInString(match)),不是len(match)——后者是字节数,会导致 “王” 被替成 "***”,而实际只需 "*" - 用户评论审核:发现任一匹配就
return false,不替换,直接拒绝整条 - 搜索高亮:把匹配段包成
xxx,原样返回,不删不掩 - 热更新词库时,别 reload 整个 trie,用
sync.RWMutex包一层指针,原子替换atomic.StorePointer
最难的不是建树,是让每一段中文、每一个 emoji、每一次跨块读取都不出错——rune 转换漏一处,线上就漏词;缓冲区少设 1 字节,就可能漏掉“违\n法”。
golang免费学习笔记(深入):立即使用
在学习笔记中,你将探索golang的核心概念和高级技巧!











