复Linux去除重复行的方法（linux行去重）

Linux是一类UNIX操作系统的统称，它的发展是为了实现计算机网络的安全性，扩展性和易于使用等。由于Linux的多用户、多任务特性，它已成为服务器、嵌入式设备和应用开发中的操作系统。

Linux常常需要处理大量重复行的文本文件，例如通过网络搜索引擎数据收集的数据结果，或者剪贴板里的内容。比如，如果文本文件中的重复行可能会引起后续工作或操作的错误，那么删除重复行就成为必要的工作，Linux系统提供了一系列自动去除重复行的方法或指令。

例如，使用sort函数和uniq函数可以实现重复行去除的功能：

sort myfile.txt | uniq -u > cleanFile.txt

首先，sort函数会对文件myfile.txt中的每一行进行排序，然后uniq函数会输出唯一值到新文件cleanFile.txt中。uniq具有两种模式，默认模式（-d参数）和允许重复行的模式（-c参数），这里我们使用的参数-u的意思是只输出唯一值，不容许出现重复行。

通过上述方法，我们可以快速的把重复行去除。还可以使用穷举法、字典或者其它数据结构来解决复杂的行去重的问题，这种情况下涉及到程序开发，如果文本文本规模较小，可以使用Python和相关的类库来实现字符串去重，并且在最后写入文件：

# Python3 program to remove duplicates 
# from a given file. 

# open a file in read mode 
in_file = open("input.txt", "r") 
# open a file in write mode 
out_file = open("output.txt", "w") 
# read all lines from the input file 
lines = in_file.readlines() 
# set to hold unique strings 
unique_lines = set() 
# traverse all the lines of input file 
for line in lines: 
    # remove spaces and '\n' 
    line = line.strip("\n") 
    # if line is not present in the set 
    # add the line to the set 
    if line not in unique_lines: 
        out_file.write(line + "\n") 
        unique_lines.add(line) 

# close the input and output file 
in_file.close() 
out_file.close()