c++如何实现二进制文件的分片上传校验逻辑【实战】

夜枫大大_9497

夜枫大大_9497

2026-04-09

719人浏览

原创

分片上传前需对每个分片单独计算哈希值:用std::ifstream二进制模式定位读取,预分配vector缓冲区,调用openssl evp_digestupdate流式计算,最后一片用gcount()获取真实字节数。

c++如何实现二进制文件的分片上传校验逻辑【实战】

分片上传前如何计算每个分片的校验值

二进制文件分片上传时,不能等全部上传完再算整个文件的 MD5SHA256,否则断点续传失败就得重来。必须对每个分片单独计算哈希值,服务端收到后逐片验证。

关键点在于:分片必须按字节严格切分,不能按行或按字符——二进制没“行”概念;且切片过程不能引入内存拷贝开销。

  • std::ifstreamstd::ios::binary 模式打开文件,用 seekg() 定位到分片起始偏移
  • 每次读取固定大小(如 4 * 1024 * 1024)到预分配的 std::vector<uint8_t></uint8_t> 缓冲区,避免反复 new
  • 调用 OpenSSL 的 EVP_DigestUpdate() 流式更新哈希上下文,比把整片 load 进内存再算更省内存、更可控
  • 注意:最后一片长度往往不足设定大小,必须用 gcount() 获取真实读取字节数,否则哈希值错

如何用 C++ 跨平台生成与服务端一致的分片标识

服务端通常用「文件唯一 ID + 分片序号 + 分片大小」拼接后哈希,作为该分片的逻辑 ID。C++ 客户端必须复现完全相同的拼接逻辑,否则服务端找不到对应分片元数据。

常见坑是字符串编码和字节序:Windows 默认 ANSI,Linux/macOS 是 UTF-8;int 类型在不同平台可能是 4 或 8 字节。

  • 分片序号统一用 uint32_t(网络字节序),用 htons() / htonl() 转换后再参与拼接
  • 文件 ID 建议用服务端下发的 UUID 字符串(如 "a1b2c3d4-5678-90ef-ghij-klmnopqrst"),客户端不自行生成
  • 拼接时用 std::ostringstreamfmt::format()(若引入 fmt 库),避免 std::to_string() 在不同 STL 实现下输出空格或科学计数法
  • 最终标识哈希推荐 SHA256(非 MD5),用 OpenSSL 的 EVP_sha256(),输出 32 字节 raw data 后 hex 编码为小写字符串

上传中如何检测并跳过已成功上传的分片

断点续传的核心不是“重试”,而是“跳过”。客户端需在上传前向服务端查询某分片是否已存在,服务端返回 200 OK204 No Content 表示可跳过。

C++ 算法竞赛自动化测试数据生成与校验框架
C++ 算法竞赛自动化测试数据生成与校验框架

根据原题生成新题面、验证器及完整测试数据,自动套用 testlib 模板,用于用户要求生成测试数据时。

下载

但 C++ 没有内置 HTTP 客户端,容易在这里出错:比如用 libcurl 时未设置 CURLOPT_NOBODY,导致重复下载响应体;或忽略 Connection: close 导致连接池复用混乱。

  • 检查分片状态建议用 HEAD 请求,而非 GET —— 减少带宽和解析开销
  • libcurl 示例关键配置:curl_easy_setopt(curl, CURLOPT_NOBODY, 1L)curl_easy_setopt(curl, CURLOPT_HEADERFUNCTION, &header_cb) 仅捕获状态码
  • 若服务端返回 ETag(即该分片的哈希值),客户端应比对本地计算值,防止服务端脏数据
  • 本地需缓存已确认成功的分片 ID 到磁盘(如 JSON 文件),避免每次重启都重新查 —— 注意用 std::ofstream 配合 std::ios::out | std::ios::app 追加写,并加临时文件+原子 rename 防崩溃丢数据

合并完成后的最终文件完整性怎么验证

所有分片上传成功后,服务端会执行合并(如 cat part_0.bin part_1.bin > final.bin)。此时客户端不能只信服务端返回的“合并成功”,必须独立验证最终文件是否与原始文件一致。

最可靠方式是:客户端在上传前就计算整个原始文件的 SHA256,上传完成后,再向服务端发起一次 GET /file/{file_id}/checksum 接口,比对返回值。

  • 不要用 MD5 做最终校验 —— 碰撞风险高,HTTP 传输中可能被中间设备悄悄改写(如某些企业网关)
  • 如果服务端不提供最终校验接口,客户端只能下载最终文件再本地算 SHA256,但这样浪费带宽;建议推动服务端补上该能力
  • 注意:Windows 上用 CreateFile() 打开大文件要加 FILE_FLAG_NO_BUFFERING 和对齐要求,否则 ReadFile() 可能失败;Linux/macOS 用 open() + read() 即可,但缓冲区大小建议设为 1MB 对齐页大小

分片校验真正难的不是算法,而是每一片的边界对齐、跨平台字节序、状态缓存一致性、以及服务端与客户端哈希实现的微小差异——这些地方差一个字节,整条链路就卡住。

C++免费学习笔记(深入):立即使用
在学习笔记中,你将探索 C++ 的入门与实战技巧!

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++ c++文件上传

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

2023.08.07

1955

5

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.23

2582

1

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

2023.10.13

896

3

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

2025.09.10

2899

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1569

3

python中的format是什么意思
python中的format是什么意思

python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.06.27

1191

7

curl_exec
curl_exec

curl_exec函数是PHP cURL函数列表中的一种,它的功能是执行一个cURL会话。给大家总结了一下php curl_exec函数的一些用法实例,这个函数应该在初始化一个cURL会话并且全部的选项都被设置后被调用。他的返回值成功时返回TRUE, 或者在失败时返回FALSE。

2023.06.14

3323

6

linux常见下载安装工具
linux常见下载安装工具

linux常见下载安装工具有APT、YUM、DNF、Snapcraft、Flatpak、AppImage、Wget、Curl等。想了解更多linux常见下载安装工具相关内容,可以阅读本专题下面的文章。

2023.10.30

695

4

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.03

1518

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Conan 2 Essentials 免费课程
Conan 2 Essentials 免费课程

共0课时 | 0人学习

CMake 与 Conan 集成实践
CMake 与 Conan 集成实践

共0课时 | 0人学习

Conan 2 高级依赖模型介绍
Conan 2 高级依赖模型介绍

共0课时 | 0人学习