C++怎么实现AC自动机进行多模式敏感词匹配

轻墨姑娘_6254

轻墨姑娘_6254

2026-10-19

624人浏览

原创

ac自动机核心是trie树加bfs构建的fail指针:节点含子节点容器、is_end、fail指针和output;fail必须在全部模式插入完成后用bfs构造,根子节点fail指向根,其余节点通过跳转fail链查找对应子节点;匹配时需沿fail链回溯检查所有is_end以捕获重叠匹配。

c++怎么实现ac自动机进行多模式敏感词匹配

AC自动机核心结构怎么建:节点设计和fail指针构造

AC自动机本质是Trie树 + BFS构建的fail指针,不是直接套用现成库——C++标准库不提供。必须手写TrieNode,每个节点存子节点数组(或unordered_map<char trienode></char>)、是否为结尾(is_end)、fail指针、以及可选的output(用于记录该节点匹配到哪些模式)。

fail指针构造必须用BFS(队列),不能DFS:根节点所有子节点的fail指向根;之后每弹出一个节点cur,遍历其子节点c:若cur->children[c]存在,则其fail = cur->fail->children[c](若后者为空,则继续跳fail,直到根或找到);若cur->fail->children[c]不存在,就回退到根。这个“跳fail找子”的过程必须循环处理,否则会漏掉深层匹配。

  • 用vector<trienode> children(256, nullptr)</trienode>适合ASCII敏感词;若含Unicode(如中文),必须改用unordered_map<char32_t trienode></char32_t>并统一转UTF-32
  • fail指针初始化必须为nullptr,且BFS前要把根节点所有非空子节点入队,再设它们的fail为根
  • 别在插入时就建fail——必须等所有模式插入完,再统一BFS构建,否则fail链不完整

怎么批量插入敏感词:避免重复清空与内存泄漏

插入就是标准Trie插入:从根出发,对每个字符c,若cur->children[c]为空则新建,最后在末尾节点设is_end = true,并可存原始词(如word字段)或ID。关键点在于——不要每次插入都delete整棵树;应该只在析构函数里递归释放,且用智能指针(unique_ptr)更安全。

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载
  • 插入中文时,若用string直接遍历char会按字节切分,导致乱码匹配;必须先用std::wstring_convert或第三方UTF-8解码(如utf8cpp)转成vector<char32_t></char32_t>再插
  • 如果多个模式有公共后缀(如"中国"和"中国人"),AC自动机会自然复用路径,但需确保"中国"的节点也标记is_end,不能只标最长词
  • 插入后不要立即调用build_fail()——等全部插完再调一次,否则时间复杂度退化

怎么执行匹配:单次扫描+fail跳转,别漏掉重叠匹配

匹配文本时,从根开始,对每个字符c,不断沿fail向上跳,直到当前节点有children[c],然后走过去。到达新节点后,要检查它自身及所有沿fail链向上的节点是否is_end——因为AC自动机支持“输出所有匹配”,不是只报最长那个。例如文本"ababc"匹配模式"ab"、"babc"、"abc",必须全捕获。

  • 实际代码中,不能只检查当前节点:要while循环temp = temp->fail,只要temp != nullptr就检查temp->is_end,否则漏掉"ab"在"ababc"中的第二次出现
  • 若只需返回是否存在匹配,遇到第一个is_end即可返回true;若需定位位置,得在节点里存length或起始索引偏移
  • 大文本匹配时,避免频繁字符串拼接:用std::string_view传入待匹配文本,用下标而非substr减少拷贝

常见崩溃和性能坑:空指针、编码错位、fail未初始化

最常触发Segmentation fault的是访问空fail指针——比如没把根节点的子节点fail设为根,后续跳fail时直接解引用nullptr。另一个高频问题是UTF-8误当ASCII处理:一个中文字符被拆成3个char,导致插入/匹配路径完全错乱,表现是“明明加了词却永远不命中”。

  • 调试时打印任意节点的fail路径(如node->fail->fail->...->nullptr),确认长度合理;根节点的fail必须为nullptr,且所有叶子节点的fail不能指向自己
  • 用valgrind或ASan跑一遍插入+匹配流程,重点看TrieNode构造/析构是否成对,避免野指针
  • 百万级敏感词时,纯vector子节点(256大小)内存爆炸,必须切到unordered_map;但map查找慢,可考虑robin_hood::unordered_map替代

AC自动机的正确性极度依赖fail指针的拓扑顺序和BFS构造时机,任何一步跳过初始化或提前构建都会让整个匹配逻辑静默失效——它不会报错,只是漏匹配。

C++免费学习笔记(深入):立即使用
在学习笔记中,你将探索 C++ 的入门与实战技巧!

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++算法 c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
c++和c语言的区别有哪些
c++和c语言的区别有哪些

c++和c语言的区别:1、面向对象编程(OOP)支持不同;2、新增特性不同;3、标准库不同;4、编译方式不同;5、命名空间不同等等。想了解更多c++的相关内容,可以阅读本专题下面的文章。

2024.03.14

2248

9

c++和python学习顺序推荐
c++和python学习顺序推荐

一般建议先学习C++,再学习Python,因为这样可以逐步从较为底层的编程语言向更高级的语言过渡。想了解更多python的相关内容,可以阅读本专题下面的文章。

2024.03.14

1019

6

python和c++学习性价比分析
python和c++学习性价比分析

Python易于学习,广泛应用于Web开发、数据科学和人工智能等领域,但性能较低。C语言性能高,适用于对性能要求较高的场景,如游戏开发和系统编程,但学习曲线陡峭,错误处理复杂。想了解更多python的相关内容,可以阅读本专题下面的文章。

2024.03.14

427

5

c语言和c++一样吗
c语言和c++一样吗

c语言和c++是两种不同的编程语言,虽然有相似之处,但存在显著差异。c语言专注于过程式编程和系统级开发,以简洁、高效著称。c++作为c语言的超集,引入了面向对象编程,增强了代码组织和管理能力,但学习曲线也更陡峭。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.03.14

327

5

c语言和c++先学哪个好
c语言和c++先学哪个好

初学者选择学习c语言还是c++语言,需要根据个人学习目标、背景以及编程兴趣和预期应用方向来决定。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.03.14

406

5

c语言和c++的区别和联系
c语言和c++的区别和联系

c语言和c++是计算机科学领域应用广泛的编程语言。虽然它们有着相似的基础,但它们在语言类型、语法功能和内存管理方面存在着显著差异。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.03.14

580

5

c++软件中文更改教程
c++软件中文更改教程

对于 ide,可通过打开设置,找到语言设置,选择中文,并保存更改。对于非 ide 应用程序,可查找设置或选项,选择语言设置,更改为中文,并保存更改。想了解更多c++的相关内容,可以阅读本专题下面的文章。

2024.03.21

1409

9

python和java和c++学习性价比分析
python和java和c++学习性价比分析

Python以其易学性、丰富的库和活跃的社区而著称,适合数据科学、人工智能和Web开发。Java以其跨平台性、企业级应用开发和Android应用开发而闻名。C++以其底层控制能力、高效性能和游戏开发而著称。选择哪种语言取决于个人兴趣、职业方向和特定需求。想了解更多python和java和c++的相关内容,可以阅读本专题下面的文章。

2024.03.22

1217

7

c++和c语言学习顺序推荐
c++和c语言学习顺序推荐

对于初学者,建议先学习C语言,掌握编程基础后再转入C++,便于理解面向对象编程概念。有编程经验者可直接学习C++,快速接触高级编程技术。想了解更多c++和c语言的相关内容,可以阅读本专题下面的文章。

2024.03.25

1325

9

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习