Linux를 사용하여 중복 파일 찾기

방법 1: 찾기 명령 사용하기

이 섹션은 찾기의 강력한 기능에 대한 확장된 사용법 설명입니다. find를 기반으로 다른 기본 Linux 명령(예: xargs 명령)과 결합하여 무제한 명령줄 기능을 만들 수 있습니다. 예를 들어 Linux 폴더 및 해당 하위 폴더 목록에서 파일을 빠르게 찾을 수 있습니다. 이 기능을 구현하는 과정은 비교적 간단합니다. 모든 파일을 검색하고 탐색한 다음 명령을 사용하여 각 파일의 MD5를 비교하면 됩니다.

추상적으로 들리지만 실제로는 명령이 하나뿐입니다.

find -not -empty -type f -printf "%s\n" | sort -rn | uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | sort | uniq -w32 --all-repeated=separate

• find -not -empty -type f -printf "%sn"은 find 명령을 사용하여 비어 있지 않은 모든 파일을 검색하고 그런 다음 크기를 인쇄하세요.

• sort -rn 말할 필요도 없이 이 명령은 파일 크기별로 정렬을 반대로 하는 것입니다

• uniq -d | xargs -I{} -n1 find -type f -size {}c -print0은 반복되는 줄만 인쇄한다는 의미입니다. 동일한 파일 이름을 가진 파일을 인쇄하려면 여기를 사용하세요.

• uniq -w32 –all-repeated=separate 마지막으로, 이는 파일의 처음 32바이트를 인쇄한다는 의미입니다. MD5 대조적으로 명령줄을 사용하여 중복 파일을 필터링하는 전체 프로세스는 매우 간단하고 쉽습니다.

방법 2: dupeGuru 도구 사용

DupeGuru는 Linux, Windows 및 Mac OS X 버전이 포함된 크로스 플랫폼 애플리케이션으로, 사용자가 파일 크기, MD5 및 파일 이름과 같은 다양한 기준을 통해 Linux를 찾는 데 도움이 될 수 있습니다. .의 파일이 중복됩니다. Ubuntu 사용자는 다음 PPA 소스를 추가하여 직접 설치할 수 있습니다.

sudo add-apt-repository ppa:hsoft/ppasudo apt-get updatesudo apt-get install dupeguru*

方法三：使用Find命令解析

在工作生活当中，我们很可能会遇到查找重复文件的问题。比如从某游戏提取的游戏文本有重复的，我们希望找出所有重复的文本，让翻译只翻译其中一份，而其他的直接替换。那么这个问题该怎么做呢？当然方法多种多样，而且无论那种方法应该都不会太难，但笔者第一次遇到这个问题的时候第一反应是是用Linux的Shell脚本，所以文本介绍这种方式。

先上代码：

find -not -empty -type f -printf "%sn" | sort -rn |uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | sort | uniq -w32 --all-repeated=separate | cut -b 36-

大家先cd到自己想要查找重复文件的文件夹，然后copy上面代码就可以了，系统会对当前文件夹及子文件夹内的所有文件进行查重。

下面分析一下上面的命令。

首先看第一句：

find -not -empty -type f -printf "%sn"

find是查找命令；-not -empty是要寻找非空文件；-type f是指寻找常规文件；-printf “%sn”比较具有迷惑性，这里的%s并非C语言中的输出字符串，它实际表示的是文件的大小，单位为bytes（不懂就man，man一下find，就可以看到了），n是换行符。所以这句话的意思是输出所有非空文件的大小。

搜索公众号GitHub猿后台回复“UML”，获取一份惊喜礼包。

通过管道，上面的结果被传到第二句：

sort -rn

sort是排序，-n是指按大小排序，-r是指从大到小排序（逆序reverse）。

第三句：

uniq -d

uniq是把重复的只输出一次，而-d指只输出重复的部分（如9出现了5次，那么就输出1个9，而2只出现了1次，并非重复出现的数字，故不输出）。

第四句：

xargs -I{} -n1 find -type f -size {}c -print0

这一部分分两部分看，第一部分是xargs -I{} -n1，xargs命令将之前的结果转化为参数，供后面的find调用，其中-I{}是指把参数写成{}，而-n1是指将之前的结果一个一个输入给下一个命令（-n8就是8个8个输入给下一句，不写-n就是把之前的结果一股脑的给下一句）。后半部分是find -type f -size {}c -print0，find指令我们前面见过，-size{}是指找出大小为{}bytes的文件，而-print0则是为了防止文件名里带空格而写的参数。

第五句：

xargs -0 md5sum

xargs我们之前说过，是将前面的结果转化为输入，那么这个-0又是什么意思？man一下xargs，我们看到-0表示读取参数的时候以null为分隔符读取，这也不难理解，毕竟null的二进制表示就是00。后面的md5sum是指计算输入的md5值。

第六句：sort是排序，这个我们前面也见过。

第七句：

uniq -w32 --all-repeated=separate

uniq -w32是指寻找前32个字符相同的行，原因在于md5值一定是32位的，而后面的--all-repeated=separate是指将重复的部分放在一类，分类输出。

第八句：

cut -b 36-

由于我们的结果带着md5值，不是很好看，所以我们截取md5值后面的部分，cut是文本处理函数，这里-b 36-是指只要每行36个字符之后的部分。

我们将上述每个命令用管道链接起来，存入result.txt：

find -not -empty -type f -printf "%sn" | sort -rn |uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | sort | uniq -w32 --all-repeated=separate | cut -b 36- >result.txt

虽然结果很好看，但是有一个问题，这是在Linux下很好看，实际上如果有朋友把输出文件放到Windows上，就会发现换行全没了，这是由于Linux下的换行是n，而windows要求nr，为了解决这个问题，我们最后执行一条指令，将n转换为nr：

cat result.txt | cut -c 36- | tr -s 'n'

위 내용은 Linux를 사용하여 중복 파일 찾기의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!