重删技术的核心目标是识别并跳过重复数据块,仅存一份物理副本并用指针替代,不改变原始数据,却显著压缩备份空间、降低带宽消耗、延长保留周期。

备份方案中应用重删技术,核心目标不是单纯“删数据”,而是识别并跳过重复的数据块,只存一份物理副本,其余用指针替代。它不改变原始数据内容,也不影响恢复逻辑,却能显著压缩备份占用空间、降低带宽消耗,并延长备份保留周期。
重删在备份中的典型价值
备份数据天然具有高冗余性——每天全备产生的增量变化很小,大量文件(如系统镜像、虚拟机磁盘、邮件附件、文档模板)反复出现。重删正是针对这种场景设计的:
- 对虚拟化环境(VDI、VMware快照),去重率常达80%–95%,一份ISO或VHD文件被上百台虚拟机引用,物理上只存一次;
- 对常规文件备份(办公文档、日志、配置),平均节省50%–60%空间;
- 跨站点复制时,若源端已去重,WAN传输量可减少90%以上,大幅缩短异地备份窗口。
源端 vs 目标端去重的选择逻辑
两者本质是资源分配策略的权衡,而非优劣之分:
- 源端去重:在备份发起侧(如备份服务器或客户端)完成哈希计算与查重,只把唯一块和指针传到目标端。优点是节省网络带宽、降低目标存储压力;缺点是消耗源端CPU和内存,且不同厂商去重格式通常不兼容,迁移或更换备份软件可能导致历史数据不可读;
- 目标端去重:备份数据以原始形态传入专用设备(如Dedupe Appliance或支持重删的备份库),由目标设备统一处理。优点是兼容性强、不影响源端性能、便于集中管理;缺点是需预留足够网络带宽和目标端计算资源,初期部署成本略高。
在线(Inline)与后处理(Post-process)的适用场景
关键区别在于是否阻塞备份写入流:
- 在线去重:数据写入同时做分块、哈希、查重、存储。适合对备份窗口敏感但计算资源充足的环境,例如大型数据中心夜间批量备份;但若哈希计算跟不上写入速度,会导致备份延迟甚至失败;
- 后处理去重:先将原始数据快速落盘,再异步扫描去重。备份任务不受影响,适合IO性能受限或备份窗口紧张的场景,比如中小型企业白天业务高峰期后的连续备份;缺点是临时占用双倍空间,需确保磁盘余量充足。
块级去重比文件级更有效的原因
文件级去重只判断“整个文件是否完全相同”,而备份中大量变化是微小修改(如Word文档改了一段文字、数据库日志追加一行)。块级去重将文件切分为4KB–64KB大小的数据块,单独哈希比对:
- 即使文件名、时间戳、权限不同,只要某一块内容一致,就能命中去重;
- 支持变长分块(如Rabin指纹算法),能更好应对插入/删除类变更,提升细粒度重复识别率;
- 现代备份软件和硬件设备默认采用块级,文件级仅用于极简场景或老旧系统兼容。











