c++怎么实现大文件的哈希校验_分块计算SHA256算法【附代码】

雨婷大大_2962

雨婷大大_2962

2026-03-30

482人浏览

原创

不能直接读整个大文件进内存算SHA256,因易OOM;应分块(如64KB)用EVP_DigestUpdate增量计算,注意二进制模式、gcount()判末块、EVP_DigestFinal_ex收尾及显式EVP_MD_CTX_free。

c++怎么实现大文件的哈希校验_分块计算sha256算法【附代码】

为什么不能直接读整个大文件进内存算 SHA256

因为会 OOM——哪怕只是 4GB 的文件,在 32 位环境或内存受限容器里,std::ifstream::read 一次性读取就可能失败;64 位下虽不崩,但占满几百 MB 内存毫无必要,还拖慢其他 IO。SHA256 本身支持增量更新(EVP_DigestUpdate 或 std::hasher::update),分块才是正解。

常见错误现象:std::bad_alloc、程序卡死、校验结果和 sha256sum 不一致(通常是因为没处理末尾不足块的边界)。

  • 块大小建议选 65536(64KB):太小(如 1KB)系统调用开销大;太大(如 1MB)对缓存不友好,且在低内存设备上仍可能出问题
  • 必须用二进制模式打开文件:std::ios::binary,否则 Windows 下换行符会被悄悄转换,哈希值必然错
  • 每次 read() 后要检查 gcount(),不能只看 eof()——文件末尾读不满一块时,gcount() 才是真实字节数

OpenSSL 的 EVP 接口怎么安全分块更新

别碰 SHA256_Init/SHA256_Update 这类底层 C 接口,它们不校验指针/长度,容易传错参数导致段错误或哈希错。用 EVP_MD_CTX + EVP_DigestInit_ex 是 OpenSSL 官方推荐路径,支持多线程安全重用上下文。

实操要点:

  • 初始化必须指定算法和 engine:EVP_DigestInit_ex(ctx, EVP_sha256(), nullptr),漏掉 nullptr 可能触发未定义行为
  • EVP_DigestUpdate 第二个参数是 const void*,传 buffer.data() 没问题,但确保 buffer 生命周期覆盖整个 update 过程
  • 最后一定要调 EVP_DigestFinal_ex,不能只靠 EVP_DigestUpdate——否则摘要没完成,输出全是 0
  • 错误检查不能省:EVP_DigestInit_ex 和 EVP_DigestFinal_ex 返回 1 才成功,否则查 ERR_print_errors_fp(stderr)

用 std::filesystem::file_size 避免重复 stat

有人边读边调 std::filesystem::file_size(path),其实没必要——它本质就是一次 stat() 系统调用。在校验前调一次就够了,还能提前判断文件是否为空或权限不足。

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载

注意点:

  • 如果文件被其他进程截断,file_size 返回的是初始大小,但读的时候可能提前 EOF;所以仍要依赖 gcount() 判断每块实际读了多少
  • 某些网络文件系统(如 NFS)可能返回不准确 size,此时更得靠 gcount() 做唯一依据
  • 不要用 std::ifstream::seekg(0, std::ios::end) + tellg() 替代——对管道、设备文件会失败,且不跨平台(Windows 下 text 模式下不可靠)

完整可跑的最小代码片段(含错误处理)

下面这段代码只依赖 OpenSSL 1.1.1+ 和 C++17,编译时加 -lssl -lcrypto,重点看三处:块循环、gcount() 使用、以及 final 调用时机:

#include <openssl>
#include <filesystem>
#include <fstream>
#include <iostream>
#include <vector><p>std::string sha256_file(const std::string& path) {
std::ifstream file(path, std::ios::binary);
if (!file.is_open()) return {};</p>
<pre class="brush:php;toolbar:false;">auto size = std::filesystem::file_size(path);
std::vector<uint8_t> buffer(65536);
EVP_MD_CTX* ctx = EVP_MD_CTX_new();
if (!ctx || EVP_DigestInit_ex(ctx, EVP_sha256(), nullptr) != 1) {
    EVP_MD_CTX_free(ctx);
    return {};
}

while (file.read(reinterpret_cast<char>(buffer.data()), buffer.size())) {
    if (EVP_DigestUpdate(ctx, buffer.data(), file.gcount()) != 1) break;
}
// 处理最后一块(read() 失败但 gcount() > 0 表示 EOF 刚好在块中间)
if (file.gcount() > 0 && EVP_DigestUpdate(ctx, buffer.data(), file.gcount()) != 1) {
    EVP_MD_CTX_free(ctx);
    return {};
}

unsigned char md[EVP_MAX_MD_SIZE];
unsigned int md_len;
if (EVP_DigestFinal_ex(ctx, md, &md_len) != 1) {
    EVP_MD_CTX_free(ctx);
    return {};
}
EVP_MD_CTX_free(ctx);

std::string hash;
hash.reserve(md_len * 2);
for (unsigned int i = 0; i <p>}</p></char></uint8_t>

最容易被忽略的一点:EVP_MD_CTX 必须显式 EVP_MD_CTX_free,它不是 RAII 对象;漏掉会导致 OpenSSL 内部资源泄漏,尤其在频繁校验多个文件时,内存占用会缓慢上涨。

C++免费学习笔记(深入):立即使用
在学习笔记中,你将探索 C++ 的入门与实战技巧!

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
c语言const用法
c语言const用法

const是关键字,可以用于声明常量、函数参数中的const修饰符、const修饰函数返回值、const修饰指针。详细介绍:1、声明常量,const关键字可用于声明常量,常量的值在程序运行期间不可修改,常量可以是基本数据类型,如整数、浮点数、字符等,也可是自定义的数据类型;2、函数参数中的const修饰符,const关键字可用于函数的参数中,表示该参数在函数内部不可修改等等。

2023.09.20

2298

7

javascriptvoid(o)怎么解决
javascriptvoid(o)怎么解决

javascriptvoid(o)的解决办法:1、检查语法错误;2、确保正确的执行环境;3、检查其他代码的冲突;4、使用事件委托;5、使用其他绑定方式;6、检查外部资源等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.11.23

636

5

java中void的含义
java中void的含义

本专题整合了Java中void的相关内容,阅读专题下面的文章了解更多详细内容。

2025.11.27

371

13

C++ 智能指针与现代内存管理
C++ 智能指针与现代内存管理

深入讲解 C++ 现代内存管理的核心工具——智能指针,涵盖 unique_ptr 独占所有权语义、shared_ptr 引用计数机制与循环引用问题、weak_ptr 弱引用的应用场景、make_unique/make_shared 工厂函数的性能优势、自定义删除器的编写、RAII 资源管理思想的实践,以及从裸指针迁移到智能指针的重构策略,帮助开发者编写安全无泄漏的现代 C++ 代码。

2026.04.23

379

31

硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

2023.10.19

3188

3

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

2025.10.17

5089

12

php8.4实现接口限流的教程
php8.4实现接口限流的教程

PHP8.4本身不内置限流功能,需借助Redis(令牌桶)或Swoole(漏桶)实现;文件锁因I/O瓶颈、无跨机共享、秒级精度等缺陷不适用高并发场景。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2025.12.29

3829

9

java接口相关教程
java接口相关教程

本专题整合了java接口相关内容,阅读专题下面的文章了解更多详细内容。

2026.01.19

466

15

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

2023.08.10

4438

6

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习