文件去重

1. 文件去重

sort file |uniq

sort -n file |uniq 

2. 文件按某一列去重

# 按照第二列去重
root@solitude[20:28:32]$ cat file 
beijing::198
shanghai::87
shenzhen::87
beijing::100
shanghai::198
shanghai::107
shenzhen::198
shanghai::100
root@solitude[20:28:33]$ awk -F "::" '!dup[$2]++' file 
beijing::198
shanghai::87
beijing::100
shanghai::107
root@solitude[20:29:09]$ awk -F "::" '!($2 in dup){dup[$2]; print $0}' file 
beijing::198
shanghai::87
beijing::100
shanghai::107
root@solitude[20:29:28]$ sort -t ":" -k 3,3 -u file 
beijing::100
shanghai::107
beijing::198
shanghai::87
root@solitude[20:29:36]$ 

awk 速度快于 sort