Golang如何通过函数实现大文件的MD5哈希计算？io.Writer分流写入【方法】-Golang-PHP中文网

直接用md5.sum读大文件会oom，因其需一次性将整个文件加载进内存（如1gb文件占1gb内存）；正确做法是用md5.new()返回hash.hash，配合io.copy流式计算，内存恒定约32kb。

golang如何通过函数实现大文件的md5哈希计算？io.writer分流写入【方法】

为什么直接用 `md5.Sum` 读大文件会 OOM？

因为 md5.Sum 默认把整个文件读进内存再哈希，1GB 文件就占 1GB 内存。实际场景中，os.ReadFile 或 md5.Sum 直接传 []byte 都不可行。

正确做法是边读边算——用 hash.Hash 实现流式计算，核心就是把文件句柄（*os.File）通过 io.Copy 或 io.CopyN 推给 hash.Hash 实例。

md5.New() 返回的本身就是 hash.Hash，满足 io.Writer 接口
不需要自己拼 buffer、分块调用 Write；io.Copy 自动处理底层 chunk 读写
避免手动管理 chunk 大小，减少出错可能

如何用 `io.Copy` 把文件流写入 `md5.Hash`？

这是最简洁可靠的写法：打开文件，创建 hash 实例，用 io.Copy 桥接二者，最后调用 Sum 获取结果。

Alibabacloud Sdk Client Initialization For Golang

初始化并管理阿里云SDK Go 客户端，涵盖 sync.Once 单例、goroutine 安全、endpoint 与 region 配置、VPC 端点及调试。

下载

func FileMD5(path string) ([16]byte, error) {
	f, err := os.Open(path)
	if err != nil {
		return [16]byte{}, err
	}
	defer f.Close()

	h := md5.New()
	if _, err := io.Copy(h, f); err != nil {
		return [16]byte{}, err
	}

	return h.Sum([16]byte{}), nil
}

io.Copy 内部使用默认 32KB buffer，对绝大多数磁盘 I/O 已足够高效
不要用 h.Write(buf) 手动循环读——容易漏读、边界错、没 close
返回值是 [16]byte，不是 []byte；如果要 hex 字符串，用 fmt.Sprintf("%x", sum)

需要同时计算 MD5 并保存文件怎么办？用 `io.MultiWriter`

常见需求：上传文件时既要存到磁盘，又要实时算 MD5。这时不能先存再读——浪费一次 I/O。用 io.MultiWriter 把文件写入和哈希计算“合并”到一次读取中。

f, _ := os.Create("out.bin")
h := md5.New()
mw := io.MultiWriter(f, h)

_, err := io.Copy(mw, srcReader) // srcReader 可以是 http.Request.Body、*os.File 等
if err != nil {
	return err
}
sum := h.Sum([16]byte{})