linux awk命令详解

linux awk命令详解

awk是行处理器: 相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息

awk处理过程: 依次对每一行进行处理，然后输出

1、awk命令形式  awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file

[-F|-f|-v]    - 大参数，-F指定分隔符，-f调用脚本，-v定义变量 var=value
'  '          - 引用代码块
BEGIN         - 初始化代码块，在对每一行进行处理之前，初始化代码，主要是引用全局变量，设置FS分隔符
//            - 匹配代码块，可以是字符串或正则表达式
{}            - 命令代码块，包含一条或多条命令
；            - 多条命令使用分号分隔
END           - 结尾代码块，在对每一行进行处理之后再执行的代码块，主要是进行最终计算或输出结尾摘要信息

2、特殊要点 -Command

$0          表示整个当前行
$1          每行第一个字段
NF          字段数量变量
NR          每行的记录号，多文件记录递增
FNR         与NR类似，不过多文件记录不递增，每个文件都从1开始
\t          制表符
\n          换行符
FS          BEGIN时定义分隔符
RS          输入的记录分隔符， 默认为换行符(即文本是按一行一行输入)
~           匹配，与==相比不是精确比较
!~          不匹配，不精确比较
==          等于，必须全部相等，精确比较
!=          不等于，精确比较
&&          逻辑与
||          逻辑或
+           匹配时表示1个或1个以上
/[0-9][0-9]+/          两个或两个以上数字
/[0-9][0-9]*/          一个或一个以上数字
FILENAME     文件名
OFS          输出字段分隔符， 默认也是空格，可以改为制表符等
ORS          输出的记录分隔符，默认为换行符,即处理结果也是一行一行输出到屏幕
-F'[:#/]'    定义三个分隔符t

实例 1

-F 指定分隔符，如下表示以':'分割

$0 表示整行 $1 指指定分隔符后，第一个字段，$3第三个字段,一次类推

一个或多个连续的空格或制表符看做一个定界符，即多个空格看做一个空格

print 是awk打印指定内容的主要命令
awk '{print}'  /etc/passwd   ==   awk '{print $0}'  /etc/passwd        //逐行打印所有行 
awk '{print " "}' /etc/passwd          //不输出passwd的内容，而是输出相同个数的空行，进一步解释了awk是一行一行处理文本
awk -F: '{print $1; print $2}' /etc/passwd          //将每一行的前二个字段，分行输出，不同命令用';'隔开
awk -F: '{print $1,$3,$6}' OFS="\t" /etc/passwd          //输出字段1,3,6，以制表符作为分隔符
awk -F":" '{print $1 $3}'  /etc/passwd          //$1与$3相连输出，不分隔
awk -F":" '{print $1,$3}'  /etc/passwd          //多了一个逗号，$1与$3使用空格分隔
awk -F":" '{print $1 " " $3}'  /etc/passwd          //$1与$3之间手动添加空格分隔
awk -F":" '{print "Username:" $1 "\t\t Uid:" $3 }' /etc/passwd          //自定义输出  
awk -F: '{print NF}' /etc/passwd           //显示每行有多少字段
awk -F: '{print $NF}' /etc/passwd          //将每行第NF个字段的值打印出来
awk -F: 'NF==4 {print }' /etc/passwd          //显示只有4个字段的行
awk -F: 'NF>2{print $0}' /etc/passwd          //显示每行字段数量大于2的行
awk '{print NR,$0}' /etc/passwd          //输出每行的行号
awk -F: '{print NR,NF,$NF,"\t",$0}' /etc/passwd          //依次打印行号，字段数，最后字段值，制表符，每行内容
awk -F: 'NR==5{print}'  /etc/passwd          //显示第5行
awk -F: 'NR==5 || NR==6{print}'  /etc/passwd          //显示第5行和第6行

实例 2

1.匹配代码块   --//纯字符匹配     !//纯字符不匹配     ~//字段值匹配      !~//字段值不匹配     ~/a1|a2/字段值匹配a1或a2
awk '/mysql/' /etc/passwd == awk '/mysql/{print $0}' /etc/passwd
awk '!/mysql/{print $0}' /etc/passwd                  //输出不匹配mysql的行
awk '/mysql|mail/{print}' /etc/passwd
awk -F: '/mail/,/mysql/{print}' /etc/passwd         //区间匹配
awk -F: '$1 ~/mail/{print $1}' /etc/passwd           //$1匹配指定内容才显示

2.IF语句&For语句  --必须用在{}中，且比较内容用()扩起来
awk -F: '{if($1 ~/mysql/) print $1}' /etc/passwd                            //简写
awk -F: '{if($1 ~/mysql/) {print $1}}'  /etc/passwd                         //全写
awk -F: '{if($1 ~/mysql/) {print $1} else {print $2}}' /etc/passwd          // if...else... 
firewall-cmd --get-service | awk -F" " '{for(i=0;i<NF;i++)print $i}'