重复行Linux 下快速删除重复行的方法（linux删除排除）

随着互联网技术的不断发展，开发软件的任务不断增加，同时也增加了我们日常工作的负担。有时间，文本文件的处理可能会遇到一些特殊的需求，比如【删除重复行】。面对这样的需求，普通的文本处理工具可能没有这个功能，这时候Linux下更加方便快捷的技巧就很有用了。今天就教大家Linux下快速删除重复行的方法。

一般来说，删除重复行需要用到sort命令配合uniq命令，这是Linux最常用的文本处理工具了。它们的作用是：首先通过sort命令对要处理的文件进行排序，然后再使用uniq命令去除重复行。

具体的操作步骤如下：首先给出文件test.txt的内容：

aaa
bbb
ccc
aaa
ddd
bbb

我们要把重复行去掉，将上述内容拷贝到一个文本文件test.txt中。然后，执行以下命令：

sort test.txt | uniq

上述命令就可以把重复行自动删除，删除后的内容如下：

aaa
bbb
ccc
ddd

使用这个命令，我们可以方便快捷的把重复行从文本文件中删除。同时，使用uniq命令还可以统计重复行的数量，如果要统计重复行的数量，则需要把命令改为：

sort test.txt | uniq -c

其中-c得参数就是统计重复行的数量。执行后，返回的结果如下：

2 aaa
2 bbb
1 ccc
1 ddd

以上就是Linux下快速删除重复行的方法，用sort和uniq在处理文本文件时，一定能派上大用场哦！

香港服务器首选树叶云，2H2G首月10元开通。
树叶云（www.IDC.Net）提供简单好用，价格厚道的香港/美国云服务器和独立服务器。IDC+ISP+ICP资质。ARIN和APNIC会员。成熟技术团队15年行业经验。