块级去重必须采用内容定义切分（如rabin-karp滚动哈希）、统一用sha256.sum256计算块哈希、并发安全的引用计数管理及分层块存储路径，才能保障去重率、一致性和可靠性。
直接用文件完整哈希（如 sha256.Sum256）做去重，对大文件或高频写入场景不现实——它无法增量识别重复块，也无法复用已存的相同数据段。真要构建块级去重（block-level deduplication），必须切分、哈希、索引、引用计数四步闭环，且每一步都有硬坑。
如何安全切分文件为固定大小块（避免边界错位）
别用简单按字节数切分（如每 4MB 一刀），这会导致相同内容在不同文件中因偏移差异产生不同块哈希。实际应采用“内容定义切分”（content-defined chunking），主流是 Rabin-Karp 滚动哈希 + 阈值触发：
-
github.com/klauspost/cpuid不够用，得用github.com/minio/minio/pkg/hash或自己实现滚动哈希逻辑 - 阈值建议设为
0xFFFFF（1MB 级），太小导致块碎片化，太大削弱去重率 - 首块必须从 offset 0 开始，否则无法对齐已有块索引；最后一块允许小于阈值，但需统一用
sha256.Sum256计算（不能截断后补零） - 切分过程必须流式进行：
bufio.NewReader+ 手动维护窗口 buffer，禁止os.ReadFile加载整块到内存
块哈希计算为何不能用 md5.Sum（即使只是内部系统）
块级去重对碰撞极其敏感——哪怕两个块哈希偶然相等，就会导致后续写入覆盖错误数据。md5 在块粒度下碰撞概率虽低，但远高于 sha256，且 Go 标准库中 md5.Sum 返回 16 字节，而 sha256.Sum256 是 32 字节，混用会导致 key 长度不一致、查不到索引。
- 必须统一用
sha256.Sum256，哪怕性能慢 10%–20%，这是块级去重的底线 - 流式哈希模板固定：
h := sha256.New(); io.Copy(h, chunkReader); sum := h.Sum(nil) - 空块（如文件末尾 padding）必须显式处理：统一返回
sha256.Sum256{}的零值，不能跳过或 panic - 别把
sum[:]直接当 map key——它是指针，map 会比较地址而非内容；必须用sum结构体本身或hex.EncodeToString(sum[:])
块索引与引用计数怎么防并发写崩掉
多个 goroutine 同时上传同一文件，可能并发写入相同块哈希，导致引用计数错乱或文件损坏。单纯用 sync.Map 不够——它不支持原子增减和存在性判断合并操作。
- 推荐组合：
map[[32]byte]int+sync.RWMutex，读多写少时锁粒度控制在单个 block key 上（用shardKey := sum[0] % 64分片） - 写入前必须原子检查+递增：先
RLock查是否存在，存在则Unlock后Lock递增；不存在则Lock后写入并初始化为 1 - 引用计数减为 0 时**不能立即删块文件**——要加延迟清理队列（比如 1 小时后扫描），防止刚好有另一个 goroutine 正在读该块
- 块存储路径必须分层，例如
blocks/sum[0:2]/sum[2:4]/sum[4:]，避免单目录下千万级文件导致os.Stat变慢
硬链接与符号链接在块级去重里怎么处理
块级去重只关心内容，但文件系统元信息会影响你是否该跳过哈希计算。os.Lstat + os.Readlink 组合容易误判，尤其跨挂载点时。
- 先
os.Lstat：若fi.Mode()&os.ModeSymlink != 0，调os.Readlink获取目标路径，再os.Stat目标——但仅限一级，不递归 - 硬链接判定必须同时比对
dev和ino：仅靠fi.Sys().(*syscall.Stat_t).Ino会跨设备误判，必须用unsafe.Pointer(fi.Sys()).(*syscall.Stat_t).Dev取 dev - 若发现硬链接，直接跳过块切分，复用原文件所有块哈希——但要校验源文件是否已被修改（对比
ModTime()和 mtime 是否变化） - 符号链接指向路径若不可达（如相对路径越界、权限不足），视为独立文件，照常切块；不要 panic 或跳过
真正卡住上线的从来不是哈希算法，而是块索引与引用计数在并发、中断、重启后的状态一致性——比如一个 goroutine 写完块文件但引用计数没更新，另一个就可能误删；或者程序崩溃时正在写块元数据，恢复后索引和物理块不匹配。这些没法靠单次测试覆盖，得靠 WAL 日志或定期 checksum 校验来兜底。
golang免费学习笔记（深入）：立即使用
在学习笔记中，你将探索golang的核心概念和高级技巧！
