Linux三剑客之awk

awk

awk是linux下的一个命令，他对其他命令的输出，对文件的处理都十分强大，其实他更像一门编程语言，他可以自定义变量，有条件语句，有循环，有数组，有正则，有函数等。他读取输出，或者文件的方式是一行，一行的读，根据你给出的条件进行查找，并在找出来的行中进行操作，感觉他的设计思想，真的很简单，但是结合实际情况，具体操作起来就没有那么简单了。他有三种形势，awk，gawk，nawk，平时所说的awk其实就是gawk。。

1，变量

 1 变量                               描述
 2 $n    当前记录的第n个字段，字段间由 FS分隔。
 3 $0    完整的输入记录。
 4 ARGC    命 令行参数的数目。
 5 ARGIND    命令行中当前文件的位置(从0开始算)。
 6 ARGV    包 含命令行参数的数组。
 7 CONVFMT    数字转换格式(默认值为%.6g)
 8 ENVIRON    环 境变量关联数组。
 9 ERRNO    最后一个系统错误的描述。
10 FIELDWIDTHS    字 段宽度列表(用空格键分隔)。
11 FILENAME    当前文件名。
12 FNR    同 NR，但相对于当前文件。
13 FS    字段分隔符(默认是任何空格)。
14 IGNORECASE    如 果为真，则进行忽略大小写的匹配。
15 NF    当前记录中的字段数。
16 NR    当 前记录数。
17 OFMT    数字的输出格式(默认值是%.6g)。
18 OFS    输 出字段分隔符(默认值是一个空格)。
19 ORS    输出记录分隔符(默认值是一个换行符)。
20 RLENGTH    由 match函数所匹配的字符串的长度。
21 RS    记录分隔符(默认是一个换行符)。
22 RSTART    由 match函数所匹配的字符串的第一个位置。
23 SUBSEP    数组下标分隔符(默认值是\034)。

2，运算符

 1 运算符                                           描述
 2 = += -= *= /= %= ^= **=    赋值
 3 ?:    C条件表达式
 4 ||    逻 辑或
 5 &&    逻辑与
 6 ~ ~!    匹 配正则表达式和不匹配正则表达式
 7 < <= > >= != ==    关 系运算符
 8 空格    连接
 9 + -    加，减
10 * / &    乘，除与求余
11 + - !    一元加，减和逻辑非
12 ^ ***    求幂
13 ++ --    增加或减少，作为前缀或后缀
14 $    字 段引用
15 in    数组成员

3，awk的正则

1 匹配符                     描述
2 \Y    匹配一个单词开头或者末尾的空字符串
3 \B    匹配单词内的空字符串
4 \<    匹配一个单词的开头的空字符串，锚定开始
5 \>    匹配一个单词的末尾的空字符串，锚定末尾
6 \W    匹配一个非字母数字组成的单词
7 \w    匹配一个字母数字组成的单词
8 \'    匹配字符串末尾的一个空字符串
9 \‘    匹配字符串开头的一个空字符串

4，字符串函数

1 函数名                         描述
2 sub    匹配记录中最大、最靠左边的子字符串的正则表达式，并用替换字符串替换这些字符串。如果没有指定目标字符串就默认使用整个记录。替换只发生在第一次匹配的 时候
3 gsub    整个文档中进行匹配
4 index    返回子字符串第一次被匹配的位置，偏移量从位置1开始
5 substr    返回从位置1开始的子字符串，如果指定长度超过实际长度，就返回整个字符串
6 split    可按给定的分隔符把字符串分割为一个数组。如果分隔符没提供，则按当前FS值进行分割
7 length    返回记录的字符数
8 match    返回在字符串中正则表达式位置的索引，如果找不到指定的正则表达式则返回0。match函数会设置内建变量RSTART为字符串中子字符串的开始位 置，RLENGTH为到子字符串末尾的字符个数。substr可利于这些变量来截取字符串
9 toupper和tolower    可用于字符串大小间的转换，该功能只在gawk中有效

5，数学函数

 1 函数名              返回值
 2 atan2(x,y)    y,x 范围内的余切
 3 cos(x)    余弦函数
 4 exp(x)    求 幂
 5 int(x)    取整
 6 log(x)    自然对 数
 7 rand()    随机数
 8 sin(x)    正弦
 9 sqrt(x)    平 方根
10 srand(x)    x是rand()函数的种子
11 int(x)    取 整，过程没有舍入
12 rand()    产生一个大于等于0而小于1的随机数

练习实例：

一：列出最近登陆系统的n个用户的信息

 

1 [jihite@~]$last -5
2 jihite   pts/4        :0.0             Mon Aug 18 23:00   still logged in  
3 jihite   pts/2        :0.0             Mon Aug 18 23:00   still logged in  
4 jihite   pts/1        :0.0             Mon Aug 18 23:00   still logged in  
5 reboot   system boot  3.2.0-61-generic Mon Aug 18 22:40 - 23:03  (00:23)   
6 reboot   system boot  3.2.0-61-generic Sat Aug 16 20:27 - 12:54  (16:26)

 

现在利用awk命令只提取第一列的用户名

1 [jihite@~]$last -5 | awk '{print $1}'
2 jihite
3 jihite
4 jihite
5 reboot
6 reboot
7

解析：awk工作流程：逐行读取（以‘\n’区分），默认以空格分开，0是整行内容，0是整行内容，1是第一列内容。

如果只是显示/etc/passwd的账户

1 #cat /etc/passwd |awk  -F ':'  '{print $1}'  
2 root
3 daemon
4 bin
5 sys

二：-F指定分割的符号

如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以tab键分割

1 #cat /etc/passwd |awk  -F ':'  '{print $1"\t"$7}'
2 root    /bin/bash
3 daemon  /bin/sh
4 bin     /bin/sh
5 sys     /bin/sh

1,1,7之间以“\t”分开

三：在输出的开头和结尾添加输出

在所有行添加列名name,shell，在最后一行添加"blue,/bin/nosh"。

1 cat /etc/passwd |awk  -F ':'  'BEGIN {print "name,shell"}  {print $1","$7} END {print "blue,/bin/nosh"}'
2 name,shell
3 root,/bin/bash
4 daemon,/bin/sh
5 bin,/bin/sh
6 sys,/bin/sh
7 ....
8 blue,/bin/nosh

awk工作流程是这样的：先执行BEGING，然后读取文件，读入有/n换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，随后开始执行模式所对应的动作action。接着开始读入第二条记录······直到所有的记录都读完，最后执行END操作。

四：搜索含有某关键字的行

（找出含有关键字‘man’的行）

1 [jihite@~]$cat '/etc/passwd' | awk -F : '/man/{print $0}' 
2 man:x:6:12:man:/var/cache/man:/bin/sh
3 colord:x:102:107:colord colour management daemon,,,:/var/lib/colord:/bin/false

五：单双引号

1 双引号
2 awk '{print "\""}'        #放大：awk '{print "  \"  "}'
3 单引号
4 awk '{print "'\''"}'       # 放大: awk '{print  "  '  \  '  '   " }'
 1 $cat del
 2 67890
 3 abcde
 4 fghig
 5 
 6 $cat del | awk '{print $1}'
 7 67890
 8 abcde
 9 fghig
10 
11 $cat del | awk '{print "'\''"$1"'\''"}'
12 '12345'
13 '67890'
14 'abcde'
15 'fghig'
16 
17 $cat del | awk '{print "'\''"$1"'\''"","}'
18 '12345',
19 '67890',
20 'abcde',
21 'fghig',

六：内置变量

 1 ARGC               命令行参数个数
 2 ARGV               命令行参数排列
 3 ENVIRON            支持队列中系统环境变量的使用
 4 FILENAME           awk浏览的文件名
 5 FNR                浏览文件的记录数
 6 FS                 设置输入域分隔符，等价于命令行 -F选项
 7 NF                 浏览记录的域的个数
 8 NR                 已读的记录数
 9 OFS                输出域分隔符
10 ORS                输出记录分隔符
11 RS                 控制记录分隔符

 实例

 1 [jihite@~]$awk  -F ':'  '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF}' /etc/passwd
 2 filename:/etc/passwd,linenumber:1,columns:7
 3 filename:/etc/passwd,linenumber:2,columns:7
 4 filename:/etc/passwd,linenumber:3,columns:7
 5 filename:/etc/passwd,linenumber:4,columns:7
 6 filename:/etc/passwd,linenumber:5,columns:7
 7 filename:/etc/passwd,linenumber:6,columns:7
 8 filename:/etc/passwd,linenumber:7,columns:7
 9 filename:/etc/passwd,linenumber:8,columns:7
10 filename:/etc/passwd,linenumber:9,columns:7
11 filename:/etc/passwd,linenumber:10,columns:7
12 filename:/etc/passwd,linenumber:11,columns:7
13 filename:/etc/passwd,linenumber:12,columns:7
14 filename:/etc/passwd,linenumber:13,columns:7
15 filename:/etc/passwd,linenumber:14,columns:7
16 filename:/etc/passwd,linenumber:15,columns:7
17 filename:/etc/passwd,linenumber:16,columns:7
18 filename:/etc/passwd,linenumber:17,columns:7
19 filename:/etc/passwd,linenumber:18,columns:7
20 filename:/etc/passwd,linenumber:19,columns:7
21 filename:/etc/passwd,linenumber:20,columns:7
22 filename:/etc/passwd,linenumber:21,columns:7
23 filename:/etc/passwd,linenumber:22,columns:7
24 filename:/etc/passwd,linenumber:23,columns:7
25 filename:/etc/passwd,linenumber:24,columns:7
26 filename:/etc/passwd,linenumber:25,columns:7
27 filename:/etc/passwd,linenumber:26,columns:7
28 filename:/etc/passwd,linenumber:27,columns:7
29 filename:/etc/passwd,linenumber:28,columns:7
30 filename:/etc/passwd,linenumber:29,columns:7
31 filename:/etc/passwd,linenumber:30,columns:7
32 filename:/etc/passwd,linenumber:31,columns:7
33 filename:/etc/passwd,linenumber:32,columns:7
34 filename:/etc/passwd,linenumber:33,columns:7
35 filename:/etc/passwd,linenumber:34,columns:7
36 filename:/etc/passwd,linenumber:35,columns:7
37 filename:/etc/passwd,linenumber:36,columns:7

 

posted @ 2016-12-10 16:20  马哥哥要上天  阅读(591)  评论(0)    收藏  举报