C++如何实现大文件的流式哈希计算 _ 增量更新SHA256【实战】

雨枫大大_5257

雨枫大大_5257

2026-04-13

941人浏览

原创

应分块流式读取并增量哈希更新,因一次性加载大文件易致oom或卡死;必须用std::ios::binary模式、检查gcount()、正确初始化/清理evp_md_ctx,并将32字节哈希转为小写十六进制字符串。

c++如何实现大文件的流式哈希计算 _ 增量更新sha256【实战】

直接用 std::ifstream::read 一次性读完整个大文件再喂给 SHA256,大概率会 OOM 或卡死——这不是算法慢,是内存用错了地方。必须分块流式读取 + 增量哈希更新。

为什么不能用 ComputeHash 或全量 read

OpenSSL 的 EVP_DigestUpdate 和 .NET 的 TransformBlock 都明确支持增量计算,但很多人仍习惯性调 EVP_DigestFinal_ex 前把整个文件 load 进 std::vector。后果很直接:

  • 4GB 文件在 32 位环境或容器中可能直接触发 std::bad_alloc
  • 64 位下虽不崩溃,但占用数百 MB 内存毫无必要,还会干扰其他 IO 调度
  • std::ifstream::seekg(0, std::ios::end) + tellg() 对管道、设备文件失败,且 Windows text 模式下不可靠
  • 用 file_size() 判断大小后仍需依赖 gcount() ——文件可能被截断,file_size() 返回的是 stat 时刻的值

怎么正确初始化和清理 OpenSSL 的哈希上下文

EVP_MD_CTX 是有状态对象,必须配对使用 EVP_MD_CTX_new 和 EVP_MD_CTX_free,漏掉任意一个分支都会泄漏或 segfault。

C++ Code Review Master
C++ Code Review Master

组合式C++代码评审方案,融合静态分析、AI推理、多轮迭代评审和C++专项检查,适用于PR审查、增量代码审查、全项目评审和代码质量评分,触发词包括review cpp、cpp代码评审、C++review、代码审查。

下载
  • 必须用 EVP_DigestInit_ex(ctx, EVP_sha256(), nullptr) 初始化,第三个参数为 nullptr 表示默认 engine;传错(比如传 NULL)可能触发未定义行为
  • OpenSSL 1.1.1+ 强制要求 EVP_MD_CTX_new,旧版本用 EVP_MD_CTX_create,混用必崩
  • 所有提前 return 路径(如 !file.is_open()、EVP_DigestUpdate 失败)都得确保调了 EVP_MD_CTX_free(ctx)
  • EVP_sha256() 返回 const 指针,别 free 它

缓冲区大小和读取逻辑的关键细节

缓冲区不是越大越好,也不是越小越安全。真实瓶颈常在系统调用开销与内存驻留之间。

  • 推荐 64KB–1MB 区间(如 std::vector<uint8_t> buf(65536)</uint8_t>),太小(1KB)导致频繁 read() 系统调用,吞吐骤降
  • std::ifstream 必须用 std::ios::binary 模式打开,否则 Windows 下 \r\n 会被转换,哈希值彻底错误
  • 循环条件不能只靠 !file.eof() ——它只在读失败后置位,末尾不满块时会多算一次
  • 每次 read() 后必须检查 file.gcount(),它返回本次实际读取字节数;末块往往小于 buf.size()
  • 最后一块处理要单独判断:if (file.gcount() > 0) { EVP_DigestUpdate(...); }

输出哈希值时最容易翻车的三件事

32 字节二进制结果直接当字符串打印,99% 会出错:要么截断(遇到 \0),要么乱码,要么长度不对。

  • 必须转成小写十六进制字符串(64 字符),不是 base64,不是大写,不是 printf("%x")
  • 每字节必须补前导零:std::setw(2) ,否则 <code>0x05 变成 "5",长度只剩 63
  • 别手写 for 循环拼接——容易越界、漏字节、大小端混淆;std::ostringstream + 流操作符最稳
  • 输出用 std::string,别返回 const char*,避免悬垂指针

真正难的不是写对第一版,而是覆盖所有边界:空文件、权限不足、磁盘突然拔出、文件被其他进程截断……这些情况下的 gcount()、eof()、fail() 组合行为,比算法本身更需要实测验证。

C++免费学习笔记(深入):立即使用
在学习笔记中,你将探索 C++ 的入门与实战技巧!

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

2023.09.22

529

3

java中null的用法
java中null的用法

在Java中,null表示一个引用类型的变量不指向任何对象。可以将null赋值给任何引用类型的变量,包括类、接口、数组、字符串等。想了解更多null的相关内容,可以阅读本专题下面的文章。

2024.03.01

1678

6

printf用法大全
printf用法大全

php中文网为大家提供printf用法大全,以及其他printf函数的相关文章、相关下载资源以及各种相关课程,供大家免费下载体验。

2023.06.20

708

5

fprintf和printf的区别
fprintf和printf的区别

fprintf和printf的区别在于输出的目标不同,printf输出到标准输出流,而fprintf输出到指定的文件流。根据需要选择合适的函数来进行输出操作。更多关于fprintf和printf的相关文章详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.28

1009

10

c语言const用法
c语言const用法

const是关键字,可以用于声明常量、函数参数中的const修饰符、const修饰函数返回值、const修饰指针。详细介绍:1、声明常量,const关键字可用于声明常量,常量的值在程序运行期间不可修改,常量可以是基本数据类型,如整数、浮点数、字符等,也可是自定义的数据类型;2、函数参数中的const修饰符,const关键字可用于函数的参数中,表示该参数在函数内部不可修改等等。

2023.09.20

2058

7

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.03

1638

5

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.04

2444

5

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

2023.10.24

5924

49

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

2023.11.24

5249

6

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Conan 2 Essentials 免费课程
Conan 2 Essentials 免费课程

共0课时 | 0人学习

CMake 与 Conan 集成实践
CMake 与 Conan 集成实践

共0课时 | 0人学习

Conan 2 高级依赖模型介绍
Conan 2 高级依赖模型介绍

共0课时 | 0人学习