Linux-017-删除重复行

Linux系统中，使用如下命令可快速去除文件或数据集中的重复行

sort -k2n {file} | uniq > a.out

方便对数据的后续处理。比如遍历行数据，统计去重后的数据量等