有趣的Linux命令 - sort & uniq

场景:在Linux服务器上有一个文本文件,上百万行数据,我想知道这个文件里有没有重复的行,怎么搞呢?

一想到Linux上拥有像 grep、wc、awk等等众多的小工具,就感觉通过一个命令就可以解决上述的问题,果然百度一下,真的有,哈哈。

$ sort filename | uniq -d

上述命令可以直接在终端显示重复行的内容,当然没有任何输出则代表没有重复行(unix的哲学)

$ sort filename | uniq > res.txt

将去重后到结果重定向到文件,然后:

$ wc -l res.txt

查看去重后到文件行数,与之前的相比,就可以判断是否有重复行了。

posted on 2019-10-11 12:14  春眠觉晓  阅读(144)  评论(0编辑  收藏  举报