c++如何实现大文件的断点续传_记录写入偏移量【附源码】

老丽吖_9388

老丽吖_9388

2026-03-26

692人浏览

原创

断点续传必须自行持久化管理偏移量,不可依赖fseek/ftell;windows需用_fseeki64/_ftelli64防32位截断;offset文件须原子写入、严格ascii十进制格式、与目标文件同目录且受互斥锁保护。

c++如何实现大文件的断点续传_记录写入偏移量【附源码】

断点续传必须自己管理偏移量,fseek 和 ftell 不可靠

大文件传输中断后重连,不能依赖系统自动“记住写到哪”,C++ 标准库的 FILE* 在关闭/重打开时不会保留上次写入位置。哪怕你用 fseek(fp, 0, SEEK_END) 获取当前长度,也只反映磁盘上已有字节,不等于“上次成功写入的逻辑偏移”——尤其当写入中途崩溃、缓存未刷盘、或文件被其他进程截断时,ftell 返回值可能错乱。

真正能信任的只有你主动记录并持久化的偏移量。常见错误是:把 ftell 当作断点依据,结果续传时重复写或跳过一段。

  • 每次成功写入一批数据(比如 64KB)后,立刻更新本地记录文件(如 resume.offset),内容仅为纯数字,例如 123456789
  • 写入前先调用 fflush(fp),再写 offset 文件;两个操作都成功才算本次写入落地
  • offset 文件必须和目标文件同目录、同名加后缀,避免路径不一致导致找不到
  • 不要用 std::ofstream 默认构造打开 offset 文件——它会清空内容;要用 std::ios::out | std::ios::trunc 显式控制

用 mmap 写大文件?别碰,msync + 偏移记录更难搞

有人想用内存映射加速大文件写入,但断点续传场景下 mmap 反而增加复杂度:msync 的同步粒度难控,MAP_SHARED 下其他进程改文件会导致映射失效,且偏移量无法直接从映射地址推算(要考虑页面对齐、prot 权限等)。实际测试中,普通 fwrite 配合 setvbuf 调大缓冲区(如 1MB),性能差距微乎其微,还省去信号处理和段错误兜底。

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载
  • 坚持用 fopen(..., "ab") 追加模式打开目标文件,避免 "r+b" 引发的定位混乱
  • 写入前用 fseek(fp, offset, SEEK_SET) 定位,但仅用于校验:调用 ftell(fp) 确认是否真到了该位置,不等就 abort
  • 如果传输协议本身带分块 hash(如 HTTP Range + ETag),优先比对已写块的哈希,而非只信 offset 数字

多线程写同一个文件?必须加锁,且 offset 文件也要互斥访问

并发写入时,即使每个线程写不同区间,write 系统调用在内核层仍可能因缓存合并导致偏移错位。更危险的是多个线程同时更新 resume.offset:A 线程刚读出 100MB,B 线程写完 50MB 后覆盖成 150MB,A 再写 20MB 后覆盖成 120MB——最终 offset 文件变成 120MB,但实际磁盘有 170MB 数据,下次续传直接损坏。

  • 所有对目标文件的 fwrite 和对 offset 文件的写入,必须包裹在同一把互斥锁里(如 std::mutex)
  • offset 文件建议用 rename 原子替换:先写临时文件 resume.offset.tmp,再 rename 覆盖原文件,避免写一半崩溃留下脏数据
  • 不要用 flock 锁文件——Windows 不支持,跨平台项目直接废掉

Windows 上 _fseeki64 和 _ftelli64 是刚需

32 位偏移函数在 Windows 下遇到 >2GB 文件就会回绕,fseek(fp, 10000000000, SEEK_SET) 可能实际跳到 1410065408 字节。Linux 的 off_t 默认是 64 位,但 Windows 的 long 是 32 位,fseek 参数类型不匹配。不换函数,续传超过 2GB 必然错位。

  • Windows 平台必须用 _fseeki64 / _ftelli64,参数类型为 __int64,头文件是 io.h
  • Linux 保持用 fseek / ftell 即可,但注意编译时定义 _FILE_OFFSET_BITS=64(glibc 默认已开)
  • 跨平台代码可用宏封装:#ifdef _WIN32 分支调用 _fseeki64,否则走标准函数

最易被忽略的一点:offset 文件的内容必须是十进制 ASCII 数字,不能带空格、换行或 BOM。哪怕多一个 \r,std::stoll 解析就会失败,程序可能静默回退到 0 偏移重传。写 offset 文件时用 fprintf(fp, "%lld", offset),读时用 fgets + std::stoll,别图省事用 operator>> —— 它对格式异常不敏感,容易放过脏数据。

C++免费学习笔记(深入):立即使用
在学习笔记中,你将探索 C++ 的入门与实战技巧!

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
fgets在c语言中的用法
fgets在c语言中的用法

本专题整合了c语言中fgets用法介绍,阅读专题下面的文章了解更多详细内容。

2025.08.27

153

4

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

2023.08.10

4238

6

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

2025.12.24

1169

20

java多线程相关教程合集
java多线程相关教程合集

本专题整合了java多线程相关教程,阅读专题下面的文章了解更多详细内容。

2026.01.21

403

30

C++多线程相关合集
C++多线程相关合集

本专题整合了C++多线程相关教程,阅读专题下面的的文章了解更多详细内容。

2026.01.21

559

24

C# 多线程与异步编程
C# 多线程与异步编程

本专题深入讲解 C# 中多线程与异步编程的核心概念与实战技巧,包括线程池管理、Task 类的使用、async/await 异步编程模式、并发控制与线程同步、死锁与竞态条件的解决方案。通过实际项目,帮助开发者掌握 如何在 C# 中构建高并发、低延迟的异步系统,提升应用性能和响应速度。

2026.02.06

389

20

C++多线程并发控制与线程安全设计实践
C++多线程并发控制与线程安全设计实践

本专题围绕 C++ 在高性能系统开发中的并发控制技术展开,系统讲解多线程编程模型与线程安全设计方法。内容包括互斥锁、读写锁、条件变量、原子操作以及线程池实现机制,同时结合实际案例分析并发竞争、死锁避免与性能优化策略。通过实践讲解,帮助开发者掌握构建稳定高效并发系统的关键技术。

2026.03.16

233

22

Java 多线程与并发编程实战
Java 多线程与并发编程实战

深入讲解 Java 并发编程体系,涵盖 Thread / Runnable / Callable 线程创建方式、线程生命周期与状态转换、synchronized 同步锁与 Lock/ReentrantLock 显式锁、volatile 可见性保证、ThreadPool 线程池配置与调优(核心参数/拒绝策略)、JUC 并发工具类(CountDownLatch/CyclicBarrier/Semaphore/ConcurrentHashMa

2026.04.17

349

31

C++ 多线程使用教程大全
C++ 多线程使用教程大全

系统讲解 C++11 及后续标准引入的多线程编程能力,涵盖 std::thread 线程创建与生命周期管理、std::mutex / shared_mutex 互斥锁与读写锁、std::condition_variable 条件变量同步、std::atomic 原子操作与内存序(memory_order)、std::future / promise / async 异步任务、线程池的设计与实现、死锁检测与避免策略,帮助开发者编写正确高效

2026.04.28

216

17

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习