如何使用Golang快速检索目录下的重复文件_Golang哈希去重-Golang-PHP中文网

os.walk配合crypto/md5是最稳起点，因文件名或大小判断极不可靠，必须基于内容哈希；os.walk可靠遍历任意深度目录，crypto/md5生成固定长度摘要，是去重事实标准。

如何使用golang快速检索目录下的重复文件_golang哈希去重

直接用文件名或大小判断重复极不可靠——同名不同内容、同内容不同名都很常见。必须基于内容哈希，而 os.Walk 能可靠遍历任意深度目录，crypto/md5（或 sha256）生成固定长度摘要，是去重的事实标准。

注意：别用 os.Stat().Size 做第一筛——小文件多时反而拖慢整体速度；大文件则必须先比大小再哈希，否则 I/O 浪费严重。

常见误区是把整个文件读成 []byte 再喂给 md5.Sum，这在几百 MB 文件上直接 OOM。正确做法是复用 hash.Hash 实例，边读边写：

h := md5.New()
if _, err := io.Copy(h, file); err != nil {
    return nil, err
}
sum := h.Sum(nil) // 注意：不是 md5.Sum(fileBytes)

h.Sum(nil) 返回的是底层切片拷贝，安全；而 md5.Sum 函数是为小字节串设计的，不适用于文件流。

md5.Sum 返回的是 [16]byte，直接当 map key 比用 string（要额外分配、GC）高效得多。Go 对数组类型 key 有专门优化，查找快、无逃逸。

Golang Uber Dig

使用 uber-go/dig 在 Golang 中实现依赖注入——基于反射容器，提供 Provide/Invoke、dig.In/dig.Out 参数与结果对象，支持命名依赖等

下载

dupMap := make(map[[16]byte][]string)
// ...
dupMap[sum] = append(dupMap[sum], path)

如果硬要用字符串做 key（比如日志输出需要），也应在最后阶段转换，而非存 map 时就转。

单核 CPU 上并发读写 sync.Map 开销远超收益；即使多核，I/O 本身是瓶颈，加 goroutine 只会让磁盘寻道更乱。实测显示：4 个 goroutine 并发哈希 10k 小文件，比单 goroutine 慢 17%。

真正该并发的是「路径发现」和「哈希计算」解耦——用一个 goroutine 调 os.Walk 发路径到 channel，多个 goroutine 从 channel 拿路径算哈希，结果汇总到普通 map（加 sync.Mutex 写）。

哈希本身是 CPU 密集型，但文件读取是 I/O 密集型，混在一起并发只会让两者都卡住。实际项目里，先老老实实单 goroutine 跑通逻辑，再按 profile 数据针对性并发，比一上来就加 go 关键字靠谱得多。

golang免费学习笔记（深入）：立即使用
在学习笔记中，你将探索golang的核心概念和高级技巧！

如何使用Golang快速检索目录下的重复文件_Golang哈希去重