Go语言如何实现字符串敏感词过滤_Golang中DFA算法与敏感词匹配详解-Golang-PHP中文网

go敏感词匹配必须用for _, r := range word遍历rune，isend仅在整词构建后设为true，且node.next访问前须判空或封装安全方法。

go语言如何实现字符串敏感词过滤_golang中dfa算法与敏感词匹配详解

遍历字符串必须用 `for _, r := range word` 而不是 `for i := range word`

Go 的 string 底层是 UTF-8 字节数组，for i := range word 遍历的是字节索引，不是字符位置。中文、emoji、全角标点（如“王”占 3 字节、“♥️”占多个字节）会被拆成乱码 rune，导致敏感词路径完全无法匹配。

实操建议：

所有敏感词构建、文本扫描、节点跳转，一律用 []rune 或 for _, r := range s；别写 word[i] 这类操作
如果非要下标访问，先转 rs := []rune(word)，再用 rs[i]
测试时务必包含 "王八蛋"、"♥️"、"ＡＢＣ"（全角）等非 ASCII 输入，否则上线后中文漏词不报错，只静默失效

`node.isEnd = true` 必须放在构建循环外

常见错误是把 node.isEnd = true 写在遍历敏感词字符的 for 循环内部，例如：

for _, r := range word {
    if _, ok := node.children[r]; !ok {
        node.children[r] = &Node{children: make(map[rune]*Node)}
    }
    node = node.children[r]
    node.isEnd = true // ❌ 错！“王”“王八”“王八蛋”全被标为结尾
}

这会导致前缀也被判定为完整敏感词，造成严重误杀——只要文本出现“王”，就触发拦截。

正确做法只在整条路径走完后标记：

用 node := root 开始，逐个 range word 走子节点
循环结束后再执行 node.isEnd = true
如果需支持“前缀敏感”（如“王八”和“王八蛋”都算），得额外加字段如 isPrefix，不能复用 isEnd

匹配时必须支持重叠，不能一碰到 `isEnd` 就退出

DFA 默认一次匹配一个最长词，但真实业务常需捕获所有可能命中项。典型表现：

Golang Spf13 Viper

Go 配置库，使用 spf13/viper — 分层优先级（flag > env >file > KV > default），提供 BindPFlag/BindPFlags、SetEnvPrefix + SetEnvKeyReplace 等功能。

下载

输入 "王八羔子坏"，只返回 "王八"，漏掉更长的 "王八羔子"
输入 "我讨厌王八,也讨厌王八羔子"，第二个词直接跳过

根本原因是匹配逻辑在碰到 isEnd == true 后就 break 或 return 了。

修复关键点：

不要一命中就退出；记录当前位置 pos，然后从 pos + 1 重新进树匹配（即「回溯起点+1」）
或用双指针：固定 start，让 end 推进找最长匹配，找到后 start++ 继续
简单验证可用 strings.ReplaceAllFunc + strings.Contains，但性能差，高并发必须手写滑动匹配逻辑

`node.Next[c]` 访问前不判空会 panic

Go 中对 nil map 写入直接 panic，而很多人在 AddChild 或匹配循环里直接写 node.Next[r] = newNode，没检查 node.Next 是否已初始化。

现象：

本地小数据不报错，压测时突然崩溃，堆栈指向 node.Next[c] 赋值行
错误信息类似：panic: assignment to entry in nil map

安全写法只有两种：

每次访问前手动判空：if node.Next == nil { node.Next = make(map[rune]*Node) }
封装成方法：func (n *Node) getChild(r rune) *Node 和 func (n *Node) setChild(r rune, child *Node)，内部统一处理初始化

真正线上跑起来，这三个点——rune 遍历、isEnd 标记位置、Next 判空——任一出错都会导致静默漏词或服务崩掉，而且问题往往在流量高峰才暴露。