sort uniq 常见用法

现有如下action.log的日志:
[info] 2018-05-24 00:00:01 ip221.14.185.51 login.
[info] 2018-05-24 00:01:01 ip11.44.15.21 connect.
[info] 2018-05-24 00:01:21 ip221.14.185.51 logout.
[info] 2018-05-24 00:01:31 ip2.16.15.252 Unlawful connection.
[info] 2018-05-24 00:01:41 ip221.14.185.51 login.
[info] 2018-05-24 00:01:51 ip221.14.185.51 logout.
[info] 2018-05-24 00:01:52 ip145.181.14.91 login.

要求:使用shell命令过滤日志中所有的ip地址并且去重列出出现次数。

cut -c 3-  意思是从第3个字符开始截取, 去掉ip字段
uniq -c 显示重复次数

awk {'print$4'} action.log | cut -c 3- | sort | uniq -c

sort -u也是去重,作用于全局重复行
uniq 去重 ,作用于相邻重复行

sort 排序,uniq 去重,uniq和sort联合使用,先sort将文件按行排序,所有相同的行就会出现在相连的地方,然后再使用uniq,可以去掉文件中所有重复的行

posted @ 2020-08-12 16:49  天线努力  阅读(137)  评论(0)    收藏  举报