C++如何实现多线程并发读取文件

浅晨酱_7014

浅晨酱_7014

2026-08-01

898人浏览

原创

必须确认文件是否支持并发读取:普通磁盘文件本身不限制多线程读,但安全并发需满足——每个线程使用独立ifstream实例且读取区域不重叠;共享同一ifstream对象调用read()会导致未定义行为。

c++如何实现多线程并发读取文件

多线程读文件前必须确认文件是否支持并发读取

普通磁盘文件(如 fstream 打开的本地文本或二进制文件)本身不禁止多线程同时读,但「能否安全并发读」取决于访问方式:如果所有线程都只调用 read() 或 seekg() + read() 且互不重叠读取区域,是安全的;一旦多个线程对同一 ifstream 对象调用 read()(共享 filebuf),就会触发未定义行为——因为 std::filebuf 的内部缓冲区和位置指针不是线程安全的。

所以实际做法只有两种:

  • 每个线程打开独立的 ifstream 实例(推荐,最简单可靠)
  • 用单个 ifstream + 手动加锁(如 std::mutex)控制每次只有一个线程调用 read(),但这完全失去并发意义,还增加锁开销

用 std::thread + 独立 ifstream 实现分块读取

典型场景是大文件按偏移切分成 N 段,每个线程读一段。关键点在于:不能依赖 ifstream::seekg() 在已打开流上随意跳转(某些文件系统或底层实现可能不支持随机访问,尤其网络文件系统);更稳妥的是每个线程自己打开文件、seekg() 到起始偏移、再读固定长度。

示例逻辑:

void read_chunk(const std::string& path, size_t offset, size_t length, std::vector<char>& out) {
    std::ifstream file(path, std::ios::binary);
    if (!file) return;
    file.seekg(offset);
    out.resize(length);
    file.read(out.data(), length);
}
// 启动线程
std::thread t1(read_chunk, "data.bin", 0,     1024*1024, std::ref(buf1));
std::thread t2(read_chunk, "data.bin", 1024*1024, 1024*1024, std::ref(buf2));
t1.join(); t2.join();
</char>

注意:seekg() 和 read() 必须在同一个 ifstream 实例中完成,不能跨对象传递偏移;read() 实际读取字节数可能小于请求长度(如到文件尾),需检查 file.gcount()。

C++ Code Review Master
C++ Code Review Master

组合式C++代码评审方案,融合静态分析、AI推理、多轮迭代评审和C++专项检查,适用于PR审查、增量代码审查、全项目评审和代码质量评分,触发词包括review cpp、cpp代码评审、C++review、代码审查。

下载

std::filesystem::file_size() 和 mmap 的取舍

分块前提是要知道文件总大小,用 std::filesystem::file_size() 是标准且轻量的方式。但如果文件极大(几十 GB)、且你只需要随机访问少量区域,考虑 mmap(Linux/macOS)或 CreateFileMapping(Windows)——它让内核直接映射文件到进程虚拟内存,多个线程可无锁读同一映射地址的不同区域。

不过要注意:

  • mmap 不是 C++ 标准,需平台适配;Windows 上得用 CreateFile + CreateFileMapping + MapViewOfFile
  • 映射区域必须对齐到系统页大小(通常是 4KB),分块时起始偏移和长度都要向上对齐
  • 映射后仍要处理文件末尾越界读(比如最后一块不足一页),不能直接当数组访问

避免 std::ifstream 构造/析构成为瓶颈

频繁创建/销毁 ifstream 对象本身有开销(系统调用、缓冲区分配)。如果要反复读多个小文件,线程池复用 ifstream 实例有意义;但对单一大文件分块读,每个线程一次构造一个 ifstream 完全没问题——真正瓶颈在磁盘 I/O,不是对象生命周期。

容易被忽略的点:

  • 不要用 std::ios_base::sync_with_stdio(false) 去优化 ifstream:它只影响 C 风格 stdin/stdout 和 C++ 流的同步,对文件流无效
  • Windows 下若文件路径含中文,std::ifstream 构造可能失败,需用 std::filesystem::u8path 或宽字符接口
  • Linux 上打开大量文件可能触发 ulimit -n 限制,建议用 lsof -p <pid></pid> 监控句柄数

真正的并发收益取决于磁盘类型:SSD 上多线程读通常能提升吞吐;HDD 上过多线程反而因磁头频繁寻道而变慢——这时候用单线程预读 + 内存队列更合适。

C++免费学习笔记(深入):立即使用
在学习笔记中,你将探索 C++ 的入门与实战技巧!

相关专题

更多
c++和c语言的区别有哪些
c++和c语言的区别有哪些

c++和c语言的区别:1、面向对象编程(OOP)支持不同;2、新增特性不同;3、标准库不同;4、编译方式不同;5、命名空间不同等等。想了解更多c++的相关内容,可以阅读本专题下面的文章。

2024.03.14

2208

9

c++和python学习顺序推荐
c++和python学习顺序推荐

一般建议先学习C++,再学习Python,因为这样可以逐步从较为底层的编程语言向更高级的语言过渡。想了解更多python的相关内容,可以阅读本专题下面的文章。

2024.03.14

999

6

python和c++学习性价比分析
python和c++学习性价比分析

Python易于学习,广泛应用于Web开发、数据科学和人工智能等领域,但性能较低。C语言性能高,适用于对性能要求较高的场景,如游戏开发和系统编程,但学习曲线陡峭,错误处理复杂。想了解更多python的相关内容,可以阅读本专题下面的文章。

2024.03.14

407

5

c语言和c++一样吗
c语言和c++一样吗

c语言和c++是两种不同的编程语言,虽然有相似之处,但存在显著差异。c语言专注于过程式编程和系统级开发,以简洁、高效著称。c++作为c语言的超集,引入了面向对象编程,增强了代码组织和管理能力,但学习曲线也更陡峭。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.03.14

307

5

c语言和c++先学哪个好
c语言和c++先学哪个好

初学者选择学习c语言还是c++语言,需要根据个人学习目标、背景以及编程兴趣和预期应用方向来决定。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.03.14

386

5

c语言和c++的区别和联系
c语言和c++的区别和联系

c语言和c++是计算机科学领域应用广泛的编程语言。虽然它们有着相似的基础,但它们在语言类型、语法功能和内存管理方面存在着显著差异。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.03.14

580

5

c++软件中文更改教程
c++软件中文更改教程

对于 ide,可通过打开设置,找到语言设置,选择中文,并保存更改。对于非 ide 应用程序,可查找设置或选项,选择语言设置,更改为中文,并保存更改。想了解更多c++的相关内容,可以阅读本专题下面的文章。

2024.03.21

1389

9

python和java和c++学习性价比分析
python和java和c++学习性价比分析

Python以其易学性、丰富的库和活跃的社区而著称,适合数据科学、人工智能和Web开发。Java以其跨平台性、企业级应用开发和Android应用开发而闻名。C++以其底层控制能力、高效性能和游戏开发而著称。选择哪种语言取决于个人兴趣、职业方向和特定需求。想了解更多python和java和c++的相关内容,可以阅读本专题下面的文章。

2024.03.22

1197

7

c++和c语言学习顺序推荐
c++和c语言学习顺序推荐

对于初学者,建议先学习C语言,掌握编程基础后再转入C++,便于理解面向对象编程概念。有编程经验者可直接学习C++,快速接触高级编程技术。想了解更多c++和c语言的相关内容,可以阅读本专题下面的文章。

2024.03.25

1325

9

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Conan 2 Essentials 免费课程
Conan 2 Essentials 免费课程

共0课时 | 0人学习

CMake 与 Conan 集成实践
CMake 与 Conan 集成实践

共0课时 | 0人学习

Conan 2 高级依赖模型介绍
Conan 2 高级依赖模型介绍

共0课时 | 0人学习