awk中RS,ORS,FS,OFS区别与联系

一，RS与ORS

1，RS是记录分隔符，默认的分隔符是\n，具体用法看下

[root@krlcgcms01 mytest]# cat test1     //测试文件
 111 222
 333 444
 555 666

2，RS默认分割符\n

[root@krlcgcms01 mytest]# awk '{print $0}' test1  //awk 'BEGIN{RS="\n"}{print $0}' test1 这二个是一样的
111 222
333 444
555 666

其实你可以把上面test1文件里的内容理解为，111 222\n333 444\n555 6666，利用\n进行分割。看下一个例子

3，自定义RS分割符

[zhangy@localhost test]$ echo "111 222|333 444|555 666"|awk 'BEGIN{RS="|"}{print $0,RT}'
 111 222 |
 333 444 |
 555 666

结合上面一个例子，就很容易理解RS的用法了。

4，RS也可能是正则表达式

[zhangy@localhost test]$ echo "111 222a333 444b555 666"|awk 'BEGIN{RS="[a-z]+"}{print $1,RS,RT}'
 111 [a-z]+ a
 333 [a-z]+ b
 555 [a-z]+

从例3和例4，我们可以发现一点，当RT是利用RS匹配出来的内容。如果RS是某个固定的值时，RT就是RS的内容。

5，RS为空时

[zhangy@localhost test]$ cat -n test2
 1  111 222
 2
 3  333 444
 4  333 444
 5
 6
 7  555 666
[zhangy@localhost test]$ awk 'BEGIN{RS=""}{print $0}' test2
111 222
333 444
333 444
555 666
[zhangy@localhost test]$ awk 'BEGIN{RS="";}{print "<",$0,">"}' test2  //这个例子看着比较明显
< 111 222 >
< 333 444     //这一行和下面一行，是一行
333 444 >
< 555 666 >

从这个例子，可以看出当RS为空时，awk会自动以多行来做为分割符。

6，ORS记录输出分符符，默认值是\n

把ORS理解成RS反过程，这样更容易记忆和理解，看下面的例子。

[zhangy@localhost test]$ awk 'BEGIN{ORS="\n"}{print $0}' test1  //awk '{print $0}' test1二者是一样的
111 222
333 444
555 666
[zhangy@localhost test]$ awk 'BEGIN{ORS="|"}{print $0}' test1
111 222|333 444|555 666|

二，FS与OFS

1，FS指定列分割符

[zhangy@localhost test]$ echo "111|222|333"|awk '{print $1}'
 111|222|333
[zhangy@localhost test]$ echo "111|222|333"|awk 'BEGIN{FS="|"}{print $1}'
 111

2，FS也可以用正则

[zhangy@localhost test]$ echo "111||222|333"|awk 'BEGIN{FS="[|]+"}{print $1}'
111

3，FS为空的时候

[zhangy@localhost test]$ echo "111|222|333"|awk 'BEGIN{FS=""}{NF++;print $0}'
1 1 1 | 2 2 2 | 3 3 3

当FS为空的时候，awk会把一行中的每个字符，当成一列来处理。

4，RS被设定成非\n时，\n会成FS分割符中的一个

[zhangy@localhost test]$ cat test1
 111 222
 333 444
 555 666
[zhangy@localhost test]$ awk 'BEGIN{RS="444";}{print $2,$3}' test1
 222 333
 666

222和333之间是有一个\n的，当RS设定成444后，222和333被认定成同一行的二列了，其实按常规思想是二行的一列才对。

5，OFS列输出分隔符

[zhangy@localhost test]$ awk 'BEGIN{OFS="|";}{print $1,$2}' test1
 111|222
 333|444
 555|666
[zhangy@localhost test]$ awk 'BEGIN{OFS="|";}{print $1 OFS $2}' test1
 111|222
 333|444
 555|666

test1只有二列，如果100列，都写出来太麻烦了吧。

[zhangy@localhost test]$ awk 'BEGIN{OFS="|";}{print $0}' test1
 111 222
 333 444
 555 666
[zhangy@localhost test]$ awk 'BEGIN{OFS="|";}{NF=NF;print $0}' test1
 111|222
 333|444
 555|666

为什么第二种方法中的OFS生效呢？个人觉得，awk觉查到列有所变化时，就会让OFS生效，没变化直接输出了。

 

 

第一部分：GNU awk的$1=$1到底有什么作用？$0=$0呢？

 

 

首先了解一下一些知识，先翻一下man awk里的这段话：

 assigning to a    non-existent field (e.g., $(NF+2) = 5) increases the value of NF,

对不存在的域赋值，会增加NF值

creates any intervening fields with the  null  string  as  their  value, 

中间域默认为NULL字符串

and  causes the value of $0 to be recomputed, with the fields being separated by the value of OFS.

$0会被根据OFS值重新计算，

References to negative numbered fields cause a fatal error. 

引用负的域索引是无效的，并且会导致错误

Decrementing NF causes  the  values of  fields past the new value to be lost,

减少NF值时，索引大于NF的域将会丢失

and the value of $0 to be recomputed, with the fields being separated  by the value of OFS.

同时$0也会被根据OFS值重新计算，

Assigning a value to an existing field causes the whole record to be rebuilt when $0 is referenced.

对当前存在的域值进行赋值，会使记录在$0被引用时重构

Similarly,assigning a value to $0 causes the record to be resplit, creating new values for the fields.

对$0赋值，也会使记录重新重分割，对域重新赋值

 

 

这里涉及到二种记录操作

1：记录分割，记录按FS值分割成域，赋给每个域值

2：记录重构，根据域值和OFS重构域。重构之后: $0=$1OFS$2OFS……

 

另外补充一点额外的知识：

$0与$1,$2….是分开存放的，$0保存的是记录初始的整串值（包括刚读进来时候的分隔符），而$1,2...保存的是分割后的域值，

awk内部函数机制基本上保证了二者的同步，一般不会出现什么错误。

 

尽管如此，分开存储的记录和域还是不可必免会存在一些应用问题，下边举二个例子说明：

 

例子一：当我们想通过更改OFS，变更域之间的输出分隔符时，此时$0由于保存的是原来的串，输出并不是按$1OFS$2进行输出：

 

[root@rac_2 ~]# echo "aaa bbb"|awk '{OFS="#";print $0;}'
aaa bbb

 

 

此时的办法采用可以列举的办法：

 

[root@rac_2 ~]# echo "aaa bbb"|awk '{OFS="#";print $1,$2;}'
aaa#bbb

 

 

但是当域值很多时（或不固定时），再用列举的话可能要借用NF，写一个循环

 

例子二：当我们想通过更改FS，变更域之间的分隔符时，此时$0由于保存的是原来的串，$1并没有重新分隔

 

[root@rac_2 ~]# echo "aa#a b#bb"|awk '{FS="#";print $1}'
aa#a

 

 

 

 

 

 

 

 

$1=$1的解析：

命令分解：

1：赋值操作的顺序是从右到左，先通过右操作数引用了$1,取得当前$1的值，

2：再通过赋值操作将值赋给左边的$1

 

步骤解析：

步骤1没什么特别的，若当前NF=0，这里的$1只会得到空值（NULL string)

步骤2分二种情况

1：若当前NF=0，即上边引文中提到的 assigning to a    non-existent field，

        此时，NF由0变1，

 2：若NF>1，则NF不变

接下来是关健做用：由于步骤2触发了域赋值操作，产生了连带的动作：在下一次引用$0时，会对$0进行重新构。（根据OFS）

 

归纳作用：

下次引用$0时，对$0进行按引用时的OFS进行重构（$1OFS$2OFS……）

 

应用：

例子一：变更输出分隔符，可以这样：

 

[root@rac_2 ~]# echo "aaa bbb"|awk '{OFS="#";$1=$1;print $0;}'
aaa#bbb

 

 

 

 

再来是$0=$0的解析

命令分解：

1：赋值操作的顺序是从右到左，先通过右操作数引用了$0,取得当前$0的值

2：再通过赋值操作将值赋给左边的$0

 

步骤分析：

步骤1：这里引用了$0进行取值，由于上边提到的设定，要注意是否有重构问题

步骤2：这里是赋值引用，对$0的赋值引用，会涉及到根据当前的FS对域的重分割

 

归纳作用：根据右操作数$0取出的值（可能是重构的），赋给$0,并根据FS重新分隔

 

应用：

例子二：变更输入分隔符，对当前记录进行重解析：

 

[root@rac_2 ~]# echo "aa#a b#bb"|awk '{FS="#";$0=$0;print $1}'
aa#a

 

 

 

 

综合应用$1=$1,$0=$0

这里涉及到了FS跟OFS同时变更时，要注意分析，区别应用：

例子三：替换原来的分隔符（假如为A）为新的串（B），最后按分隔符（C）输出第三域

 

[root@rac_2 ~]# echo "1CA2CA3CA"|awk 'BEGIN{FS="A"}{FS="C";OFS="B";$1=$1;$0=$0;print $3}'
B3

 

 

这里如果少了$1=$1的话，则$0在引用时无法根据新的OFS值重构，没有做替换，仍按原先的串按新FS解析，得到原先的第三域值

 

[root@rac_2 ~]# echo "1CA2CA3CA"|awk 'BEGIN{FS="A"}{FS="C";OFS="B";$0=$0;print $3}'
A3

 

 

 

这里如果少了$0=$0的话，$0以原先的值"1CA2CA3CA"在读入时按"A"分隔，$3不变

 

[root@rac_2 ~]# echo "1CA2CA3CA"|awk 'BEGIN{FS="A"}{FS="C";OFS="B";$1=$1;print $3}'
3C

 

 

这个结果与下边等同：

 

[root@rac_2 ~]# echo "1CA2CA3CA"|awk 'BEGIN{FS="A"}{FS="C";OFS="B";print $3}'
3C