c++如何实现基于内存映射(mmap)的高性能文本搜索算法【进阶】

老瑶吖_9875

老瑶吖_9875

2026-03-25

1058人浏览

原创

mmap 比 fread + strstr 更快,因其将文件直接映射至虚拟内存,避免内核与用户空间间的数据拷贝;而 fread 需频繁系统调用和内存复制,但小文件等场景不适用 mmap。

c++如何实现基于内存映射(mmap)的高性能文本搜索算法【进阶】

为什么 mmap 比 fread + strstr 更快?

因为 mmap 把文件直接映射进虚拟内存,跳过了内核到用户空间的数据拷贝;而 fread 每次读块都要触发系统调用和内存复制。但前提是:你得用对——不是所有场景都适合 mmap,比如小文件(

常见错误现象:Segmentation fault(没检查 mmap 返回值是否为 MAP_FAILED)、搜索结果偏移错乱(忘了减去 mmap 起始地址)、匹配不到换行符附近的模式(没注意文件末尾是否被截断或映射长度计算错误)。

  • 使用场景:日志分析、代码库全文索引、只读大文本(GB 级)的单次批量搜索
  • 映射时务必用 PROT_READ + MAP_PRIVATE,写保护能避免误改导致崩溃
  • 文件大小需用 stat() 获取,不能依赖 lseek(fd, 0, SEEK_END) 后的 ftell,某些文件系统(如 procfs)不支持

如何安全地在 mmap 区域里做子串搜索?

别直接拿 strstr 往 mmap 返回的指针上砸——它不保证越界安全,且遇到中间的 \0 就停(二进制文件或含 null 字节的 UTF-16 文本会崩)。正确做法是用带长度限制的搜索逻辑。

实操建议:

  • 用 memmem(GNU 扩展)或手写 memcmp 循环,显式传入映射长度 mapped_size
  • 搜索前确认 pattern 不为空,且长度 ≤ mapped_size,否则 memmem 行为未定义
  • 如果 pattern 可能含 \0(比如搜二进制特征码),必须用 memmem,不能用 strstr
  • 避免在循环里反复调用 memmem 搜索重叠匹配——每次应从上一匹配位置 + 1 开始,而不是 + pattern_len

示例关键片段:

const char* found = (const char*)memmem(mapped_addr, mapped_size, pattern, pattern_len);

mmap 搜索在不同平台上的兼容性坑

mmap 在 Linux/macOS 行为接近,但 Windows 完全不认这个 API——得用 CreateFileMapping + MapViewOfFile。如果你写跨平台代码,别硬塞 POSIX 头,先抽象一层。

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载

容易踩的坑:

  • Linux 上 mmap 映射空文件会成功但返回全零页,macOS 则直接失败;测试时务必用真实非空文件
  • Android NDK 默认关闭 MAP_POPULATE,缺页中断延迟明显,加了又可能卡主线程——权衡后建议只对热数据段预取
  • 32 位程序 mmap 超过 2GB 文件大概率失败(地址空间不足),64 位下也建议单次映射 ≤ 128MB,避免 ENOMEM

搜索结果怎么转成文件内真实行号?

拿到 memmem 返回的地址差值后,不能直接除以平均行长——文本行长度千差万别。必须从映射起点开始逐字节扫 \n,但别傻乎乎从头扫:用二分定位大致区间再线性回溯,性能好得多。

实操要点:

  • 记录每个 \n 的偏移(构建稀疏索引),适合多次搜索同一文件
  • 若只搜一次,就从匹配地址往前找最近的 \n(最多 4KB 回溯足够,一行超这长度的文本极少)
  • 注意 CRLF(\r\n):Windows 文本里 \n 前必有 \r,但搜索时 pattern 通常不含 \r,所以行号计算要按逻辑换行符算,不是物理字节

最常被忽略的一点:mmap 地址空间和文件 offset 是一一对应的,但如果你用了 MAP_SHARED 且文件被其他进程截断,mapped_size 还是旧的,访问越界区域会触发 SIGBUS——永远用 min(actual_file_size, mapped_size) 作边界。

C++免费学习笔记(深入):立即使用
在学习笔记中,你将探索 C++ 的入门与实战技巧!

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

2023.09.22

549

3

java中null的用法
java中null的用法

在Java中,null表示一个引用类型的变量不指向任何对象。可以将null赋值给任何引用类型的变量,包括类、接口、数组、字符串等。想了解更多null的相关内容,可以阅读本专题下面的文章。

2024.03.01

1698

6

C++ 智能指针与现代内存管理
C++ 智能指针与现代内存管理

深入讲解 C++ 现代内存管理的核心工具——智能指针,涵盖 unique_ptr 独占所有权语义、shared_ptr 引用计数机制与循环引用问题、weak_ptr 弱引用的应用场景、make_unique/make_shared 工厂函数的性能优势、自定义删除器的编写、RAII 资源管理思想的实践,以及从裸指针迁移到智能指针的重构策略,帮助开发者编写安全无泄漏的现代 C++ 代码。

2026.04.23

379

31

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

2023.08.10

4518

6

windows查看端口占用情况
windows查看端口占用情况

Windows端口可以认为是计算机与外界通讯交流的出入口。逻辑意义上的端口一般是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。怎么查看windows端口占用情况呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.26

3339

3

查看端口占用情况windows
查看端口占用情况windows

端口占用是指与端口关联的软件占用端口而使得其他应用程序无法使用这些端口,端口占用问题是计算机系统编程领域的一个常见问题,端口占用的根本原因可能是操作系统的一些错误,服务器也可能会出现端口占用问题。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.27

2918

6

windows照片无法显示
windows照片无法显示

当我们尝试打开一张图片时,可能会出现一个错误提示,提示说"Windows照片查看器无法显示此图片,因为计算机上的可用内存不足",本专题为大家提供windows照片无法显示相关的文章,帮助大家解决该问题。

2023.08.01

1528

3

windows查看端口被占用的情况
windows查看端口被占用的情况

windows查看端口被占用的情况的方法:1、使用Windows自带的资源监视器;2、使用命令提示符查看端口信息;3、使用任务管理器查看占用端口的进程。本专题为大家提供windows查看端口被占用的情况的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

2659

5

windows无法访问共享电脑
windows无法访问共享电脑

在现代社会中,共享电脑是办公室和家庭的重要组成部分。然而,有时我们可能会遇到Windows无法访问共享电脑的问题。这个问题可能会导致数据无法共享,影响工作和生活的正常进行。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.08

3330

4

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习