awk命令

1.概述

awk是一种编程语言，用于在linux/unix下对文本和数据进行扫描与处理。数据可以来自标准输入、文件、管道。

实际上awk有很多种版本，如：awk、nawk、mawk、gawk、MKS awk、tawk...

目前在Linux中常用的awk编译器版本有mawk,gawk，其中以RedHat为代表使用的是gawk，以Ubuntu为代表使用的是mawk。

本文将以gawk作为讲解工具。

2.原理

• awk逐行扫描文件，从第一行到最后一行，寻找匹配特定模式的行，并在这些行上进行你想要的操作
• awk基本结构包括模式匹配(用于找到要处理的行)和处理过程(即处理动作)。
  　　pattern {action}
  
  
• awk有两个特殊的模式：BEGIN和END，他们被放置在没有读取任何数据之前以及在所有数据读取完成以后执行。

# 提示：awk读取文件内容的每一行时，将对比改行是否与给定的模式相匹配，如果匹配则执行处理过程，否则对该行不做任何处理。 如果没有指定处理脚本，则把匹配的行显示到标准输出，即默认处理动作是print打印行； 如果没有指定模式匹配，则默认匹配所有数据。

 

awk基本语法格式

1.格式：

gawk [ POSIX or GNU style options ] -f program-file [ --] file ...

注释：POSIX or GNU style options表示gawk支持POSIX以及GNU两种选项；-f后接脚本文件；file表示准备处理的文档名称。

2.gawk支持以下选项：

　　-F fs

　　 --field-separator fs    指定以fs作为输入行的分隔符(默认分隔符为空格或制表符)

 

　　-v var=val

　　--assign var=val       在执行处理过程以前，设置一个变量var值为val

 

　　-f program-file

　　--file program-file      从脚本文件中读取AWK指令，以取代在命令参数中输入处理脚本

 

　　-W compat

　　-W traditional

　　--compat

　　--traditional

　　　　使用兼容模式运行awk，GNU扩展选项将被忽略

 

 

　　-W dump-variables[=file]

　　--dump-variables[=file]      打印全局变量(变量名、类型、值)到文件中，如果没有提供文件名，则自动输出至名为awkvars.out的文件中。

示例：

[root@localhost ~]# awk -W dump-variables=out.txt 'x=1 {print x}' test.txt

 

　　-W exec file

　　--exec file    类似于-f选项，但脚本文件需要以#!开头；另外命令行的变量将不再生效

 

3.awk程序结构

一个awk程序包含一系列的 模式 {动作指令} 或是函数定义。

4.简单示例：

[root@localhost ~]# awk '/^$/ {print "Blank line}' test.txt

备注：/^$/通过正则表达式匹配空白行，动作为打印Blank line；即test.txt如有N个空白行，awk将在屏幕打印N个Blank line。

 

[root@localhost ~]# awk '/HOSTNAME/' /etc/sysconfig/network

备注：打印包含主机名的行，因为没有指定动作指令，默认动作为打印。

 

 

awk基本操作

1.记录与字段

awk一次从文件中读取一条记录，并将记录存储在字段变量$0中。记录被分割为字段并存储在$1,$2 ..., $NF中(默认使用空格或制表符为分隔符)。

内建变量NF为记录的字段个数

示例：

[root@localhost ~]# echo hello the world | awk '{print $1,$2,$3}'

备注：读取输入行并输出第一个字段，第二个字段，第三个字段。

 

[root@localhost ~]#  echo hello the world | awk '{print $0}'

备注：读取输入行并输出该行。

 

[root@localhost ~]# echo hello the world | awk '{print NF}'

备注：读取输入行并输出该行的字段个数：3个字段。

 

[root@localhost ~]# echo hello the world | awk '{print $NF}'

备注：读取输入行并输出该行的第三个字段，因为NF为3，所以$NF等同于取行的最后一个字段。

 

2.字段分隔符

默认awk读取数据以空格或制表符作为分隔符，但可以通过-F或FS(field separator)变量来改变分隔符。

示例：

[root@localhost ~]# awk -F: '{print $1}' /etc/passwd

[root@localhost ~]# awk 'BEGIN {FS = ":"} {print $1}' /etc/passwd

备注：以上两个示例均将字段的分隔符改冒号(:)，即以冒号为分隔符打印passwd文件的第一个字段(帐号名称)。

注意：如果使用FS改变分隔符的话，需要在BEGIN处定义FS，因为在读取第一行前就需要改变字段分隔符。

 

进阶：指定多个字段分隔符(文档内容为：hello the:word,!)

[root@localhost ~]#  echo 'hello the:world,!'|awk 'BEGIN{FS="[:,]"} {print $1,$2,$3,$4}'

备注：$1=hello the     $2=world    $3=!   $4为空

3.内置变量

以下为awk内置变量：

ARGC	命令行参数个数
FILENAME	当前输入文档的名称
FNR	当前输入文档的当前记录编号，尤其当有多个输入文档时有用
NR	输入流的当前记录编号
NF	当前记录的字段个数
FS	字段分隔符
OFS	输出字段分隔符，默认为空格
ORS	输出记录分隔符，默认为换行符\n
RS	输入记录分隔符，默认为换行符\n

 示例：

[root@localhost ~]# cat test1.txt
1.This is a test file. 
2.Welcome to Jacob's Class.

 

[root@localhost ~]#cat test2.txt
1. Hello the world. 
2. Wow! I'm overwhelmed. 
3. Ask for more.

 

[root@localhost ~]# awk '{print FNR}' test1.txt test2.txt
1
2
1
2
3

备注：输出当前文档的当前行编号，第一个文件两行，第二个文件三行。

 

[root@localhost ~]# awk '{print NR}' test1.txt test2.txt
1
2
3
4
5

备注：awk将两个文档作为一个整体的输入流，通过NR输入当前行编号。

 

[root@localhost ~]# awk '{print NF}' test1.txt
5
4

备注：test1.txt文档的第一行有5个字段，第二行有4个字段

 

[root@localhost ~]# awk 'BEGIN {FS = ":"} {print $1}' /etc/passwd

 

[root@localhost ~]# awk '{print $1,$2,$3}' test1.txt

备注：默认print输出时，各参数将的输出分隔符默认为空格，所以输出内容如下

This is a

Welcome to Jacob's

 

[root@localhost ~]# awk 'BEGIN {OFS="-"} {print $1,$2,$3}' test1.txt

备注：通过OFS将输出分隔符设置为"-"，这个print在输出第一、二、三个字段时，中间的分隔符为"-"，结果如下

1. This-is-a

2. Welcome-to-Jacob's

 

 

[root@localhost ~]# cat test3.txt

1. mail from: tomcat@gmail.com
2. subject:hello
3. data:2012-07-12 17:00
4. content:Hello, The world.
5.
6. mail from: jerry@gmail.com
7. subject:congregation
8. data:2012-07-12 08:31
9. content:Congregation to you.
10.
11. mail from: jacob@gmail.com
12. subject:Test
13. data:2012-07-12 10:20
14. content:This is a test mail.

 

[root@localhost ~]# awk 'BEGIN {FS="\n"; RS=""} {print $3}' test3.txt

备注：读取输入数据，以空白行为记录分隔符，即第一个空白行前的内容为第一个
记录，第一个记录中字段分隔符为换行符。

结果为：

data:2012-07-12 17:00
data:2012-07-12 08:31
data:2012-07-12 10:20

 

4.表达式与操作符

表达式是由变量、常量、函数、正则表达式、操作符组成，awk 中变量有字符变量和数字变量。如果在awk 中定义的变量没有初始化，则初始值为空字串或0。

注意：字符操作时一定记得需要加引号

1.变量定义示例：

　　a="welcome to beijing"

　　b=12

2.操作符(awk操作符与C语言类似)

+	加
-	减
*	乘
/	除
%	取余
^	幂运算
++	自加1
--	自减1
+=	相加后赋值给变量(x+=9等同于x=x+9)
-=	相减后赋值给变量(x-=9等同于x=x-9)
*=	相乘后赋值给变量(x*=9等同于x=x*9)
/=	相除后赋值给变量(x/=9等同于x=x/9)
>	大于
<	小于
>=	大于等于
<=	小于等于
==	等于
!=	不等于
~	匹配
!~	不匹配
&&	与
||	或

 

 

 

操作符简单示例：

[root@localhost ~]# echo "test" | awk 'x=2 {print x+3}'

 

[root@localhost ~]# echo "test" | awk 'x=2,y=3 {print x*2, y*3}'

 

[root@localhost ~]# awk '/^$/ {print x+=1}' test.txt

备注：统计所有空白行

 

 

[root@localhost ~]# awk '/^$/ {x+=1} END {print x}' test.txt

备注：打印总空白行个数

 

[root@localhost ~]# awk -F: '$1~/root/ {print $3}' /etc/passwd

备注：打印root的ID号

 

[root@localhost ~]# awk -F: '$3>500 {print $1}' /etc/passwd

备注：列出计算机中ID号大于500的用户名

 

 

awk条件及循环语句

1. IF条件判断格式：

if (表达式)

　　动作1

else

　　动作2

或者if (表达式) 动作1；else 动作2 说

 

示例：(判断boot分区可用容量小于20M时报警，否则显示OK)

[root@localhost ~]# df |grep "boot" |awk '{if($4<20000) print "Alart"; else print "OK"}'

 

2. 循环

while (条件)

　　动作

[root@localhost ~]# awk 'i=1 {} BEGIN { while (i<=10) {++i; print i}}' test.txt

 

do

　　动作

while (条件)

[root@localhost ~]# awk 'BEGIN { do {++x;print x} while (x<=10)}' test.txt

 

 

for (变量；条件；计数器)

　　动作

[root@localhost ~]# awk 'BEGIN {for(i=1;i<=10;i++) print i}' test.txt

 

[root@localhost ~]# awk 'BEGIN {for(i=10;i>=1;i--) print i}' test.txt

说明：因为以上循环语句使用的awk均使用的BEGIN模式，所以输入文档可以为任意文档(无关紧要)。

 

3. Break与Continue

 

函数

1. rand () 产生0-1之间的浮动类型的随机数

备注：rand产生随机数时需要通过srand()设置一个参数，否则单独的rand()每次生成的随机数都是一样的。

[root@localhost ~]# awk 'BEGIN {print rand(); srand(); print srand()}' test.txt

 

2.

　　gsub(x,y,z) 在字串z中使用字串y替换与正则表达式x相匹配的所有字串，z默认为$0

　　sub(x,y,z) 在字串z中使用字串y替换与正则表达式x相匹配的第一个字串，z默认为$0

[root@localhost ~]# awk -F: 'gsub(/root/,"xxxx",$0) {print $0}' /etc/passwd

备注：将passwd每行中所有的root修改为jacob显示至屏幕

 

 

[root@localhost ~]# awk -F: 'sub(/root/,"xxxxx",$0) {print $0}' /etc/passwd

备注：将passwd每行中第一个root修改为jacob显示至屏幕

 

sub相当于sed中的s///，gsub相当于sed中的s///g。

 

3. length(z) 返回字串z的长度

[root@localhost ~]# awk '{print length()}' test.txt

备注：显示test.txt文档每行的字符长度

 

4. getline 从输入中读取下一行内容

[root@localhost ~]# df -h

说明：从以上命令的输出结果可以看出，分区的剩余容量显示在第4列，但唯独/根分区的记录显示在了两行；我们需要判断当记录的字段个数为1时，读取下一行，并将该行的第3列显示至屏幕。

[root@localhost ~]# df -h |awk '{if(NF==1) {getline; print $3}; if(NF==6) print $4}'

[root@localhost ~]# df -h |awk 'BEGIN {print "Disk Free:"} {if(NF==1) {getline; print $3}; if(NF==6) print $4}'