三剑客与正则系列-awk勇闯天下

1.awk概述

四剑客	特点	擅长
find	查找文件	查找文件,与其他命令配合.
grep/egrep	过滤	过滤速度最快.
sed	过滤,取行,替换,删除	替换,修改文件内容,取行.
awk	过滤,取行,取列,统计计算,判断,循环 ...	取列,取行,统计计算

• awk是一个语言,叫做单行脚本.

2.概述

2.1.格式

取出/etc/passwd中的第1行的第1列,第3列和最后一列
awk   -F:   'NR1{print $1,$3,$NF}' /etc/passwd

awk   选项   '条件{动作}'   /etc/passwd
条件 找谁
动作 干啥

2.2.执行流程

https://www.processon.com/view/l

3.取行

3.1⭐⭐⭐⭐⭐案例01 : 取出/etc/passwd的第 1行

awk  'NR==1{print $0}' /etc/passwd
awk 'NR==1' passwd

root:x:0:0:root:/root:/bin/bash

awk 'NR == 1' passwd
   '行号 等于 1'

NR Number of Record 记录号,行号

== 表示 等于

{print $0} 输出整行内容 $0表示当前行的内容. awk满足条件后默认的动作,输出这一行的内容.

上面仅取行,还可以简写为

	 awk  'NR==1' /etc/passwd

3.2.⭐⭐⭐⭐⭐案例02: 取出第2行到第5行的内容

awk 'NR>=2 && NR<=5' /etc/passwd

>= 表示大于等于

&& 表示并且

|| 表示或者

• awk支持运算符,可以进行计算,进行对比.

awk常用的运算符	说明
==	等于
!=	不等于
>	大于
>=	大于等于
<	小于
<=	小于等于
&&	并且 & and符
||	或者

3.3.⭐⭐⭐⭐⭐案例03: 过滤出/etc/passwd文件 中包含root或nobody的行

awk '/root|nobody/' /etc/passwd

3.4.案例04 : 从包含root的行到包含nobody的行

awk '/root/,/nobody/' /etc/passwd

4.取列

4.1⭐⭐⭐⭐⭐案例05: 使用awk取出ls -lh 的 大小列和最后一列

[root@myvps oldboy]# ls -lh /etc/hosts
-rw-r--r--. 1 root root 172 10月  9 13:02 /etc/hosts
[root@myvps oldboy]# ls -lh /etc/hosts | awk '{print $5,$9}'
172 /etc/hosts
[root@myvps oldboy]# ls -lh /etc/hosts | awk '{print $5,$NF}'
172 /etc/hosts

awk中取列的时候说明:

• $数字,表示取列,$1 第1列 $0表示这一行
• $NF 最后一列
• NF Number of Field 每行有多少列
• $(NF-1) 取出倒数第2列,一般用于正向取发生变化或数字过大.

awk输出与对齐:

使用column 命令即可或者使用\t

ll -h |awk '{print $5,$9}'|column -t
ll -h |awk '{print $5"\t"$9}'

4.2.⭐⭐⭐⭐⭐案例06: 取出/etc/passwd中的第 1列,第3列和最后一列

awk取列的时候,默认是通过空白字符进行分割的.

空白字符:空格,连续空格,tab键.

但是一些时候使用默认分隔符不够了,需要我们手动指定分隔符,通过-F选项指定

未来我们想快速取出想要的内容,选择趁手工具(选好分隔符).

选择分隔符建议: 看你目标两边是啥.

awk -F':' '{print $1,$3,$NF}' /etc/passwd

4.3.⭐⭐⭐⭐⭐案例07: 指定复杂分隔符取出ip

[root@myvps oldboy]# ip a s eth0 |awk 'NR==3'
    inet 10.0.0.200/24 brd 10.0.0.255 scope global noprefixroute eth0

　　⚠温馨提示: inet前面有4个空格.

逐步实现
ip a s eth0 |awk 'NR==3' |awk '{print $2}' |awk -F '/' '{print $1}'

遇到空格或/就切一刀,所以4个空格切4刀,ip是第6列
[root@myvps oldboy]# ip a s eth0 |awk 'NR==3' |awk -F '[ /]' '{print $6}'
10.0.0.200

遇到连续的空格或/就切一刀,所以4个空格切1刀,所以ip是第3列
[root@myvps oldboy]# ip a s eth0 |awk 'NR==3' |awk -F '[ /]+' '{print $3}'
10.0.0.200

其他分隔符取出
ip a s eth0 |awk 'NR==3' |awk -F 'inet |/24' '{print $2}'

5.取行与取列

awk 格式 '条件{动作}'

5.1.⭐⭐⭐⭐⭐案例08: 取行+取列 取ip地址

awk  选项   '条件{动作}'   /etc/passwd
ip a s eth0 |awk -F '[ /]+' 'NR==3{print $3}'
10.0.0.200

• 额外案例: 取出权限部分 stat /etc/hosts的0644部分

stat /etc/hosts | awk -F '[/(]'   'NR==4{print $2}'
stat /etc/hosts | awk -F '[^0-9]+'   'NR==4{print $2}'

5.2⭐⭐⭐⭐⭐案例09: 取出/etc/passwd文件中 第3列大于大于100的行,取出这行的第1列,第3列和最后 一列

• '条件{动作}'
• 条件: 第3列大于1000 $3 第3列用户的uid.
• 动作: 输出显示第1列,第3列和最后一列

awk   选项   '条件{动作}'   /etc/passwd
#条件
awk -F':'  '$3>=100' /etc/passwd
#条件+动作
awk -F':'  '$3>=100{print $1,$3,$NF}' /etc/passwd |column -t 
lidao996  1001 /bin/bash
nginx     1002 /sbin/nologin

通过awk实现对某一列进行判断,然后进行提取.

5.3.⭐案例10: 如果系统swap使用超过0则输出"异常 系统开始占用swap"

条件
   条件1:过滤出swap
   条件2:第3列 使用的数量大于0
动作
   输出这句话 ""异常系统开始占用swap""
   
free |awk '/Swap/  && $3 >= 0'
Swap:       2097148           0     2097148
free |awk '/Swap/  && $3 >= 0 {print "异常系统开始占用swap"}'

异常系统开始占用swap

free |awk 'NR==3 && $3>0 {print "swap占用，系统异常，请排查"}'

5.4.⭐⭐⭐⭐⭐案例11: 过滤出/etc/passwd第4 列的数字是以0或1开头的行,输出第1列,第3列,第4列

• 之前^ 或$ 表示某一行的开头或结尾.
• 在awk中因为awk可以取列,通过列可以过滤某一列中包含什么..... 过滤某一列中以xxxx开头或结尾.

awk -F':' '$4 ~ /^[01]/' /etc/passwd
条件: 第4列的数字是以0或1开头 $4 ~ /^[01]/
动作: 输出第1列和第3列

awk -F':' '$4 ~ /^[01]/ {print $1,$3}' /etc/passwd

温馨提示 awk中 通过~可以实现对某一列进行过滤

某一列中含有xxxx内容

• ~ 表示包含的意思 $1 ~ /root/ 表示第1列中包含root
• !~ 表示不包含

6.awk统计与计算

awk进行统计有2类案例:

1️⃣ 类似于wc -l统计次数.

2️⃣进行求和,累加.

6.1.统计次数

• 仅仅需要统计出现了多少次,出现了多少个.可以使用wc -l方式.

说明i=i+1 先计算i+1然后把结果存放到i中.
i=i+1     i值      i=i+1值   i计算后的内容
第1行     空/0     i=0+1     i=1
第2行      1        i=1+1     i=2
第3行      2        i=2+1     i=3

i=i+1 计数公式.

[root@myvps ~]# awk '{i=i+1}END{print i} ' /etc/passwd
57

END{}内容会在awk读取完成文件的时候执行.

END{}一般用于输出执行结果.

i=i+1 ==== i ++

这个案例未来可以搭配awk各种条件进行统计与计算.

6.2.计算总和

seq 10 > num.txt计算num.txt每一行的数字的总和
[root@myvps ~]# seq 10 > num.txt
[root@myvps ~]# awk '{i=i+$1}END{print i}' num.txt 
55

分析执行流程

i=i+$1
      $1   i    i=i+$1 i结果
第1行     1   空    i=0+1   i=1
第2行     2    1    i=1+2   i=3
第3行     3    3    i=3+3   i=6
第4行     4    6    i=6+4   i=10

可以简写 i=i+$xxx ==== i+=$xxx