Linux删除文件重复行、debian、ubuntu等

1、观察文件中重复是否有规律。然后示例中并未重复

2、输入命命令进行去重复并输出到文件

cat filename |sort|uniq > outfilename.txt

3、再次查看输出文件我们已得到了没有重复行的文件 out.txt。

此方法适用于任何文件内容去重复的场景。