[技术篇]使用Linux查找重复文件

一、原理

记录find强大功能的扩展使用方法说明，在find的基础上，可与（如xargs命令）等其它基本linux命令相结合，应对各样的工作需求，比如：快速查找出linux某个文件夹及其子文件夹中的重复文件列表。要实现这个功能，从流程上来看比较简单，只需遍历目标文件夹所有文件，再通过命令去比较每个文件的MD5值即可。

二、实际应用

在工作生活当中，我们常常会遇到查找重复文件的问题，比如当前服务器文件杂乱，从互联网下载各种内容，随着使用时间推移，可能会发现自己下载了相同的mp3，pdf，zip(以及所有其他类型的文件扩展名)并将其复制到其他目录，这可能会导致目录中充斥着各种无用的重复内容，占据着服务器资源，那么我们就可以使用linux操作命令对服务器进行梳理。

完整代码：

操作人员可以先cd到自己想要查找重复文件的文件夹，然后复制上面代码就可以了，系统会对当前文件夹及其子文件夹内的所有文件进行查重，并将查询结果保存在当前文件夹的result.txt文件当中。

三、分析语句

首先查看第一句：

find是查找命令；

-not -empty是要寻找非空文件；

-type f是指寻找常规文件；

-printf “%sn”比较具有迷惑性，这里的%s并非C语言中的输出字符串，它实际表示的是文件的大小，单位为bytes，n是换行符。所以这句话的意思是输出所有非空文件的大小。

通过管道符“|”,上面的结果就会被传到第二句：

sort是排序，-n是指按大小排序，-r是指从大到小排序。

第三句：

uniq是把重复的只输出一次，而-d指只输出重复的部分（如9出现了5次，那么输出结果就为1个9，而3若只出现了1次，并非重复出现的数字，故不输出）。

第四句：

这一部分分两部分看，第一部分是xargs -I{} -n1，xargs命令将管道符之前输入的结果转化为参数，供后面的find调用，其中-I{}是指把参数写成{}，而-n1是指将之前的结果一个一个输入给下一个命令（比如-n8就是8个8个的输入给下一命令，不写-n就是把之前的结果全都给下一命令）。

后半部分是find -type f -size {}c -print0，find指令我们前面见过，-size{}c是指找出{}中大小为bytes的文件，而-print0则是为了即使文件名里带空格也能够正常进行操作。

第五句：

xargs我们之前说过，是将前面的结果转化为输入，-0表示读取参数的时候以null为分隔符读取，这也不难理解，毕竟null的二进制表示就是00。后面的md5sum是指计算输入的md5值。

第六句：sort是排序，这个我们前面也见过。

第七句：

uniq -w32是指寻找前32个字符相同的行，原因在于md5值一定是32位的，而后面的--all-repeated=separate是指将重复的部分放在一类，分类输出。

第八句：

由于我们的结果带着md5值，不是很好看，所以我们截取md5值后面的部分，cut是文本处理函数，这里-b 36-是指只要每行36个字符之后的部分。

我们将上述每个命令用管道链接起来，存入result.txt：

虽然结果很好看，但是有一个问题，这是在Linux下很好看，实际上如果有朋友把输出文件放到Windows上，就会发现换行全没了，这是由于Linux下的换行是n，而windows要求nr，为了解决这个问题，我们最后执行一条指令，将n转换为nr：

供稿人：王发晨