Go语言Gin框架在大文件断点续传下的MD5一致性校验

星磊大大_1526

星磊大大_1526

2026-09-02

757人浏览

原创

MD5校验必须在分片写入磁盘后、合并前由服务端实时流式重算,不可信任客户端传值。因客户端切片可能错位、篡改或截断,须用io.TeeReader边写边算,配合os.O_EXCL防覆盖,并在校验失败时立即清理对应分片。

go语言gin框架在大文件断点续传下的md5一致性校验

MD5校验必须在分片写入磁盘后、合并前做,不能靠客户端传来的值直接信任

为什么不能直接用客户端传的 MD5 做校验

客户端计算的 file_id(如文件整体 MD5)或 chunk_hash 可能被篡改、截断、或因浏览器 Blob 切片边界不一致导致错位。尤其当使用 Blob.slice() 时,若起始偏移未对齐底层文件系统块,两次切片结果可能不一致,MD5 就失效了。

常见错误是把 chunk_hash 当作可信输入,直接存进数据库或跳过校验——这会让损坏分片静默通过,最终合并出的文件无法打开。

  • 服务端必须自己重算:收到分片后,用 crypto/md5.New() + io.Copy() 实时流式计算,不落地再读
  • 不要用 os.ReadFile() 重读刚写入的分片——它可能还没 flush,或被并发写覆盖
  • 若分片路径含 {file_id},别把它当校验依据;file_id 应仅作目录名,不参与完整性判断

分片级校验怎么写才可靠

每个分片上传 handler 必须独立完成哈希计算,且与写入过程绑定。关键不是“算得准”,而是“算得及时、不依赖中间状态”。

正确做法是用一个 io.TeeReader 把 r.Body 同时喂给哈希器和文件写入器:

Gin框架 1.9.0
Gin框架 1.9.0

Gin框架 1.9.0版本源码包下载,版本号 1.9.0,适合需要 sonic JSON 支持、路由修复和内容协商改进的 Go Web 开发场景。

下载
hash := md5.New()
dst, _ := os.OpenFile(filepath.Join(uploadDir, fileID, fmt.Sprintf("chunk_%04d", index)), os.O_CREATE|os.O_WRONLY|os.O_EXCL, 0644)
defer dst.Close()

tee := io.TeeReader(r.Body, hash)
_, err := io.Copy(dst, tee) // 一边写磁盘,一边算 MD5
if err != nil {
    return
}
actualHash := hex.EncodeToString(hash.Sum(nil))
  • 必须用 os.O_EXCL 打开文件,防止并发重复写入覆盖,导致哈希与内容不匹配
  • 若客户端传了 X-Chunk-Hash,就比对 actualHash;不等则返回 400,删掉刚写的分片
  • 别在 io.Copy 后再 dst.Seek(0, io.SeekStart) 重读——dst 是文件句柄,不是内存 buffer

合并前要不要再校验一次整体 MD5

要,但不是重新读整个合并后的大文件——那会 OOM 或卡死。应该在合并过程中边读边算。

合并 handler 的逻辑应是:按序打开每个分片 → io.CopyN 写入目标文件 → 同时把每片数据喂给同一个 md5.Hash 实例。这样内存只占单片大小,且哈希值严格对应物理字节流。

  • 不要用 os.Stat().Size() 验证总长度——分片可能缺失或写入不全,需以实际 io.CopyN 返回字节数为准
  • 若最终哈希与客户端声称的 file_id 不一致,说明某片在传输/落盘/合并中出错,此时应返回 500 并清理临时目录
  • Redis 或本地 sync.Map 中记录的已传分片索引,不能代替哈希校验;它只管“有没有”,不管“对不对”

最常被忽略的一点:校验失败后没清理已写分片。残留的损坏分片下次续传时会被复用,导致错误累积。每次校验不通过,必须同步删除对应 chunk_* 文件,否则断点续传就变成了断点“污染”。

golang免费学习笔记(深入):立即使用
在学习笔记中,你将探索golang的核心概念和高级技巧!

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
Go中Type关键字的用法
Go中Type关键字的用法

Go中Type关键字的用法有定义新的类型别名或者创建新的结构体类型。本专题为大家提供Go相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.06

3189

5

go怎么实现链表
go怎么实现链表

go通过定义一个节点结构体、定义一个链表结构体、定义一些方法来操作链表、实现一个方法来删除链表中的一个节点和实现一个方法来打印链表中的所有节点的方法实现链表。

2023.09.25

6367

6

go语言编程软件有哪些
go语言编程软件有哪些

go语言编程软件有Go编译器、Go开发环境、Go包管理器、Go测试框架、Go文档生成器、Go代码质量工具和Go性能分析工具等。本专题为大家提供go语言相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.13

742

5

0基础如何学go语言
0基础如何学go语言

0基础学习Go语言需要分阶段进行,从基础知识到实践项目,逐步深入。php中文网给大家带来了go语言相关的教程以及文章,欢迎大家前来学习。

2023.10.26

8125

20

Go语言实现运算符重载有哪些方法
Go语言实现运算符重载有哪些方法

Go语言不支持运算符重载,但可以通过一些方法来模拟运算符重载的效果。使用函数重载来模拟运算符重载,可以为不同的类型定义不同的函数,以实现类似运算符重载的效果,通过函数重载,可以为不同的类型实现不同的操作。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.02.23

2996

5

Go语言中的运算符有哪些
Go语言中的运算符有哪些

Go语言中的运算符有:1、加法运算符;2、减法运算符;3、乘法运算符;4、除法运算符;5、取余运算符;6、比较运算符;7、位运算符;8、按位与运算符;9、按位或运算符;10、按位异或运算符等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.02.23

3244

5

go语言开发工具大全
go语言开发工具大全

本专题整合了go语言开发工具大全,想了解更多相关详细内容,请阅读下面的文章。

2025.06.11

7139

12

go语言引用传递
go语言引用传递

本专题整合了go语言引用传递机制,想了解更多相关内容,请阅读专题下面的文章。

2025.06.26

4537

12

go语言版本升级
go语言版本升级

本专题整合了go语言版本升级方法,想了解更多相关内容,请阅读专题下面的文章。

2025.06.27

8190

16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程