linux怎么查找磁盘上的重复文件减少冗余

大静姑娘_3547

大静姑娘_3547

2026-11-14

745人浏览

原创

Linux下可用fdupes、rdfind或find+md5sum精准清理重复文件:fdupes交互式删除需加-N确认;rdfind自动保留最早文件;find+md5sum零依赖但慢,大文件需跳过。

linux怎么查找磁盘上的重复文件减少冗余

磁盘空间莫名其妙变少,明明没装几个大软件,却总提示“空间不足”,大概率是大量内容完全相同的重复文件在悄悄占地方——比如同一份安装包下载了三次、网盘同步产生的冲突副本、素材解压后忘了删原压缩包。Linux下不靠肉眼,得用命令精准揪出这些冗余文件。

用fdupes快速扫描并交互式删除

fdupes是最轻量、最直观的重复文件查找工具,按内容哈希比对,不是只看文件名或大小。

先安装:sudo apt-get install fdupes(Debian/Ubuntu);sudo dnf install fdupes(Fedora);sudo yum install fdupes(CentOS/RHEL)。

扫描指定目录:fdupes -r /home/user/Documents。-r 表示递归进入子目录,缺了它只会查当前层。

看到一堆重复文件列表后,加 -d 选项进入交互式删除模式:fdupes -rd /home/user/Documents。它会把每组重复文件列出来,让你手动选保留哪一份,其余全部删掉。

【必须加 -N 参数确认删除动作】 直接运行 fdupes -rd 会跳过确认直接删,一旦选错就不可逆。正确写法是 fdupes -rdN /home/user/Documents,这样每删一组前都会停住问你“保留哪一个?[1-3]”。

用rdfind做静默批量处理

适合已验证过目标目录、需要全自动清理的场景,比如定时任务里跑一次去重。

安装:sudo apt-get install rdfind(其他发行版对应换为 dnf/yum)。

先试运行,只列出不删:rdfind -dryrun true /mnt/backup。输出会生成 RESULTS.TXT,打开就能核对哪些是真重复、哪些是误判。

确认无误后执行删除:rdfind -deleteduplicates true /mnt/backup。rdfind 会自动识别原始文件(最早修改时间那个),只删副本,不会动“第一份”。

Linux DO
Linux DO

Linux DO (linux.do)。任何 Linux DO 请求(搜索、读取数据)均使用此技能。若任务涉及 Linux DO,应使用本技能而非调用其他。

下载

这一步不能倒过来——先删再看报告。因为删除后 RESULTS.TXT 里记录的是删除前的状态,和实际磁盘已不一致。

用find+md5sum组合实现零依赖排查

系统没装任何额外工具?连 fdupes 和 rdfind 都不能用?那就用 find + md5sum 手搓一个临时方案,全程只依赖 bash 和 coreutils。

方法一:一行命令列出所有重复项(仅显示哈希与路径):
find /tmp/test -type f -exec md5sum {} \; | sort | uniq -w32 -d

方法二:生成可读性更强的分组清单(推荐):
find /tmp/test -type f -print0 | xargs -0 md5sum | sort | awk '{if ($1 == prev) {print $0; print prev_line} else {prev = $1; prev_line = $0}}'

注意:md5sum 对超大文件(如几十GB视频)会明显变慢,且占用内存高。如果目录里有单个大于10GB的文件,建议先用 find -size +1G 跳过它们再跑哈希。

安全删除前必须做的三件事

第一步:用 df -h 确认目标分区还有多少可用空间,避免清理中途因磁盘满导致命令崩溃或日志写入失败。

第二步:用 ls -lt 检查重复文件的修改时间,人工判断哪份更可能是原始文件——比如“report_final_v3.pdf”比“report.pdf”新,但内容一样,那就要留 v3 删旧的。

第三步:对关键目录(如 /home/username/Pictures 或 /var/www)先复制一份路径到文本文件,执行删除前再用 ls -la 核对一遍文件权限和属主,防止误删 root 权限的配置文件。

执行完 fdupes -rdN /path 或 rdfind -deleteduplicates true /path 后立即退出终端。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

linux系统 linux

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

2023.06.21

4570

4

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

2023.06.29

3813

10

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

2023.06.30

3133

5

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

2023.07.05

7790

7

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

2023.07.06

7422

7

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.20

4213

8

linux查看ip命令
linux查看ip命令

本专题为大家提供linux查看ip命令相关文章内容,感兴趣的朋友可以免费下载体验试试。

2023.07.20

3685

4

linux查看cpu使用率
linux查看cpu使用率

在linux的系统维护中,可能需要经常查看cpu使用率,分析系统整体的运行情况。本专题为大家带来了linux查看cpu使用率的相关文章,感兴趣的朋友千万不要错过了。

2023.07.25

3939

6

linux查找文件命令
linux查找文件命令

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.31

297

3

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Linux man-pages 项目
Linux man-pages 项目

共0课时 | 0人学习

Linux系统运维及项目正式上线
Linux系统运维及项目正式上线

共14课时 | 2.9万人学习

Linux负载均衡视频教程
Linux负载均衡视频教程

共7课时 | 1.9万人学习