不能等文件上传完再算md5，因为会导致内存暴涨、磁盘io冗余和用户体验差；应采用流式校验，用io.teereader边读边算，确保哈希与落盘字节完全一致。
为什么不能等文件上传完再算MD5
因为用户上传大文件时，服务端如果先存完整文件再计算 md5.Sum，会带来三个实际问题：内存暴涨（尤其并发高时）、磁盘IO冗余、校验失败后才通知用户导致体验差。流式校验的核心是边读边算，不落地或仅落临时分块，把校验逻辑嵌进上传管道里。
关键点在于：HTTP body 是 io.ReadCloser，可直接传给 io.MultiWriter 或自定义的 hash.Hash 包装器，无需中间缓存全部字节。
- 不要用
bytes.Buffer或io.ReadAll读完整体 —— 这等于放弃流式 - 避免在 handler 中调用
file.Seek(0, 0)回溯重读 —— 上传流不可重复消费 - 若需同时写磁盘和算哈希，用
io.TeeReader把读操作“分发”给哈希器和文件写入器
用 io.TeeReader 实现上传+校验并行
io.TeeReader 是最轻量可靠的方案：它包装一个 io.Reader，每次 Read 时自动把读到的数据写入指定的 io.Writer（比如 hash.Hash），再返回给上游。上传过程中，数据只过一遍内存，零拷贝。
示例片段（省略错误处理）：
func uploadHandler(w http.ResponseWriter, r *http.Request) {
file, _, _ := r.FormFile("file")
defer file.Close()
hasher := md5.New()
teeReader := io.TeeReader(file, hasher)
// 直接把 teeReader 传给存储逻辑（如写入磁盘或对象存储）
dst, _ := os.Create("/tmp/uploaded.bin")
defer dst.Close()
io.Copy(dst, teeReader) // 数据流经 teeReader → 同时喂给 hasher 和 dst
fmt.Fprintf(w, "md5: %x", hasher.Sum(nil))
}
-
io.TeeReader不缓冲，不阻塞，天然适配 HTTP 流 - 注意：必须确保
hasher在io.Copy完成后再调用Sum()，否则结果不完整 - 如果还要限制上传大小，把
teeReader包一层io.LimitReader即可
分块上传场景下如何保证 MD5 可验证
单次请求无法承载 GB 级文件时，前端常分块上传（如每块 5MB），后端需合并并校验整体 MD5。此时不能简单拼接各块哈希值 —— MD5(A+B) ≠ MD5(A)+MD5(B)。
Colly 是一个用于 Go 语言的快速开源爬取和爬虫框架。它适用于从简单的页面提取到异步爬虫处理大量页面集合，支持请求回调和结构化解析。
可行做法只有两种：
- 服务端合并所有块后，用
io.MultiReader构造完整流，再走一次io.TeeReader + md5.New()—— 简单但需临时落盘或全内存加载 - 前端计算整体 MD5 并随首块上传（如放在
X-Content-MD5header），服务端在合并完成后单独校验 —— 减少服务端计算压力，但依赖前端可信
更稳妥的折中：要求前端上传时附带各块的 MD5（如 JSON 元数据），服务端合并时用 hash/maphash 或自定义流式拼接逻辑验证块顺序与完整性，最后再对完整文件做一次最终 MD5 —— 这样既防传输错乱，又保留最终一致性校验。
注意 multipart/form-data 的边界干扰
用 r.FormFile 获取文件时，底层其实已跳过 multipart boundary；但如果手动解析 r.Body（例如用 mime/multipart.Reader），必须确保传给哈希器的是纯文件内容，而非包含 boundary 的原始字节流 —— 否则 MD5 值必然错。
- 永远优先用
r.FormFile，它返回的是剥离 boundary 后的干净io.ReadCloser - 若必须手动解析 multipart，请用
part.Header.Get("Content-Disposition")确认是目标文件字段，再用part.Next()读取有效载荷 - 调试时可用
hex.Dump打印前 64 字节，确认开头不是--boundary类字符串
流式 MD5 的真正难点不在算法本身，而在对数据源头的精确控制——哪段字节进了哈希器，必须和最终落盘/转发的字节完全一致。边界、换行、header 插入、编码转换，任何一处多读或少读都会让哈希失效。
golang免费学习笔记（深入）：立即使用
在学习笔记中，你将探索golang的核心概念和高级技巧！
