uniq

uniq 功能说明：去除重复行。
 
参数选项：
-c  去除重复行，并计算每行出现的次数。
-d  只显示重复的行。
-u  只显示唯一的行。


去重范例
[root@testdb ~]# cat a.log
10.0.0.4
10.0.0.4
10.0.0.4
10.0.0.5
10.0.0.5
10.0.0.6
[root@testdb ~]# uniq a.log
10.0.0.4
10.0.0.5
10.0.0.6
[root@testdb ~]# uniq  -c a.log 
      3 10.0.0.4
      2 10.0.0.5
      1 10.0.0.6

      
结合sort去重
[root@testdb ~]# cat b.log
10.0.0.4
10.0.0.6
10.0.0.5
10.0.0.4
10.0.0.4
10.0.0.5
[root@testdb ~]# uniq b.log
10.0.0.4
10.0.0.6
10.0.0.5
10.0.0.4
10.0.0.5
[root@testdb ~]# sort -n  b.log|uniq
10.0.0.4
10.0.0.5
10.0.0.6
[root@testdb ~]# sort -n  b.log|uniq -c
      3 10.0.0.4
      2 10.0.0.5

说明：
uniq只能对相邻的重复行进行去重操作，因此先用sort排序再去重。