Linux命令：查找重复文件的方法 (linux如何查重复)

在日常的使用中，我们可能会遇到这样的问题：硬盘的空间越来越小，但不知道哪些文件可以删除，哪些是重复的。此时，我们就需要用到查找重复文件的命令。本文将介绍Linux系统下如何使用命令查找重复文件。

一、什么是重复文件？

重复文件是指在同一存储介质（通常是硬盘）上，两个或多个文件内容相同。这些文件可能是同一文件，也有可能是不同文件。

当我们下载多个版本的同一电影时，会发现它们所占用的硬盘空间很大，但实际上只有一个版本是我们需要的，其他的都是重复的文件。如何找到这些重复文件，就需要使用一些工具和方法。

二、使用fdupes命令查找重复文件

在Linux系统中，有多个命令可以查找重复文件，其中比较常用的是fdupes命令。fdupes命令是一款用于查找重复文件的软件，支持查找目录、子目录下的重复文件，还可以比较文件的大小、权限、时间戳等信息，来确定是否为重复文件。

1. 安装fdupes

如果你的Linux系统上没有安装fdupes命令，可以通过以下命令安装：

Debian/Ubuntu系统：sudo apt-get install fdupes

CentOS/RHEL系统：sudo yum install fdupes

2. 查找重复文件

使用fdupes命令查找重复文件很简单，只需要在终端中输入以下命令：

fdupes -r /directory/

其中，-r参数表示递归查找，即在指定的/directory/目录下和子目录中查找重复文件。你需要将/directory/替换为你想查找的目录路径。执行该命令后，fdupes会列出所有找到的重复文件，并提示你删除哪些文件。

需要注意的是，fdupes默认比较文件大小和内容相同的文件，如果你想增加比较的参数，可以使用以下命令：

fdupes -r -S /directory/

其中，-S参数表示比较文件的大小和时间戳，可以有效减少误判。

三、使用find命令查找重复文件

除了fdupes命令，还有一个常用的查找重复文件的命令是find。find命令是一个功能强大的工具，可以查找指定目录下的所有文件和子目录，根据文件名、文件大小、文件类型等条件进行查找。

1. 查找重复文件

使用find命令查找重复文件的方法和fdupes命令类似，只需要在终端中输入以下命令：

find /directory/ -type f -exec md5sum {} \; | sort | uniq –all-repeated=separate -w 32 > duplicates.txt

其中，/directory/是你要查找的目录路径。执行该命令后，find会首先递归查找该路径下的所有文件，并使用md5sum命令计算每个文件的哈希值。然后，将所有的哈希值按字母表排序，并使用uniq命令查找出重复的哈希值。将重复的哈希值输出到duplicates.txt文件中。

需要注意的是，这种方法仅仅比较文件的哈希值，可能会出现误判。如果你需要更加准确的比较，可以使用fdupes命令。

2. 删除重复文件

使用fdupes命令或find命令查找重复文件后，你可以自己手动删除这些文件，也可以使用以下命令将所有重复文件自动删除：

fdupes -rdN /directory/

其中，-d参数表示删除找到的重复文件，-N参数表示保留之一个文件，-r参数表示递归查找，/directory/是你要删除的目录路径。执行该命令后，fdupes会根据你的设置自动删除重复文件。

四、小结

查找重复文件是管理文件的重要工作之一，可以让你更好地管理你的硬盘空间。通过本文介绍的fdupes命令和find命令，你可以快速查找重复文件，并选择手动或自动删除这些文件。在使用这些命令时，需要注意不要误删重要的文件，建议先备份重要的文件再进行操作。

相关问题拓展阅读：

• 如何清除linux环境变量PATH中的重复项？

如何清除linux环境变量PATH中的重复项？

分类: 电脑/网络 >> 操作系统/系统故障

问题描述:

操作系统：linux redhat9i

使用set|more,发现PATH中有很多项是重复的，分析原因可能是装软件时在profile中用了“PATH=$PATH:…..”之类的语族旦句，每生效一次都会把原先的又重复一遍。生效次数多了PATH就多得吓人。

请问：

1.怎样把已经重复的项去掉？

2.怎样让PATH每次只增加原先没有的？

3.怎样才能让这兆氏扰些重复的项在PATH中只出现一次？

解析:

1.别用$PATH

2.PATH=$PATH

3.肯定是你自己的问题,系统启动默认全局是核岩用profile里面的PATH

然后读你自己.bashrc等文件

关于linux如何查重复的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。

香港服务器首选树叶云，2H2G首月10元开通。
树叶云（shuyeidc.com）提供简单好用，价格厚道的香港/美国云服务器和独立服务器。IDC+ISP+ICP资质。ARIN和APNIC会员。成熟技术团队15年行业经验。