linux 下删除重复行-- uniq 与 awk
$ cat file
liw
liw
liw
hdsui
mdksjd
liw
$ cat file | uniq -u # 只删除相邻的,不保留重复行
hdsui
mdksjd
liw
$ cat file | awk '!a[$1]++' # 不用排序,保留重复行中的一行
liw
hdsui
mdksjd
liw
liw
liw
hdsui
mdksjd
liw
hdsui
mdksjd
liw
liw
hdsui
mdksjd