AWK入门

AWK
类型
    AWK：源于AT&T实验室的AWK
    NAWK：AWK的升级版
    GAWK：GNU AWK，兼容AWK和NAWK
    
程序结构
    BEGIN语句块,可选
        BEGIN {awk-commands}
    
    BODY语句块
        /pattern/ {awk-commadns}
        
    END语句块
        END {awk-commands}
    
    例：awk
            'BEGIN{printf "sr no\tname\tsub\tmarks\n"}
            {print}
            END{this is a test}' masks.txt
    
基础语法
    格式：awk [options] file....
        例：awk ‘{print}’ masks.txt
    
    选项：
        -f：指定脚本文件
            1、创建脚本文件commands.awk
                vim command.awk
                    {print}
            2、执行
                awk -f command.awk marks.txt
        
        -v：变量赋值在程序开始前赋值
            例：awk -v name=jerry 'BEGIN{printf "Name = %s\n",name}'
            
        --dump-variables[=file]:
            输出排好序的全局变量列表和它们最终的值到文件中，默认文件维awkvars.out
            例：awk --dump-variables ''
            
        --lint[=fatal]
            检查程序的不兼容性或模棱两可的代码，参数fatal：将warning作为error
            例：awk --lint '' /bin/ls
            
        --profile[=file]
            输出一发格式化之后的程序到文件，默认文件维awkprof.out
            例：awk --profile=test.out 'BEGIN{printf "---|Header|--\n"}
                                        {print}
                                        END{printf "---|Footer|---\n"}' marks.txt
                                        
        --traditional:禁止所有的gawk规范的扩展
        
        --version：输出版本号

内置变量
    NR：记录数量，在执行过程中对应当前行号
    NF：字段数量，执行过程中对应当前行的字段数
    $0：宝行执行过程中当前行的文本内容
    $1：包含第一个字段的文本内容
    $2：包含第二个字段的内容
    FILENAM：表示正在处理的数据文件的名称
    FS：字段分割字符，默认值是空格或者制表符
    OFS:输出字段分隔符
    RS：记录分隔符，默认为换行符
    ORS：输出记录分隔符
    
    例：awk '{printf $3 $4}' marks
        输出第三和第四字段
        
        awk '/a/' marks
            输出包含a的行
            #‘/pattern/’：匹配模式，正则表达式
            
        awk ‘/a/ {print $3 "\t" $4}’ marks
            输出包含a的
            
    统计匹配模式的行数
        awk '/a/ {++cnt} END{print "Count=",cnt}' marks.txt
        
    打印超过18个字符的行
        awk ‘length($0)>18’ marks
        
    ARGC：输出命令行参数个数
        例：awk 'BEGIN{ print "Arguments =",ARGC}' one two three four
        
    ARGV：以数组的形式输出命令行参数
        例：awk 'BEGIN{
                for (i=0;i<ARGC;i++){
                    printf "ARGV[%d] = %s\n",i,ARGV[i]
                    }
                }' one two three four
                
    CONVFMT:数字的约定格式,默认是%.6g
        例：awk 'BEGIN{ print "Conversion Format =%.6g",CONVFMT}'
        
    OFMT：输出格式数字
        例：awk 'BEGIN{print "OFMT = " OFMT}'
        
    ENVIRON:环境变量的关联数值
        例：awk 'BEGIN { print ENVIRON["PATH"]}'
        
    FILENAME：当前用户名
        例：awk 'END {print FILENAME}' marks.txt

    FS：字段分隔符，默认空格或制表符，可以通过选项-F来使用
        例：awk 'BEGIN{print "FS=" FS}' | cat -vte
            或
            awk -F: 'BEGIN{print "FS= " FS}' | cat -vte
            
            
    NF：字段数量，执行过程中对应当前行的字段数
        例：echo -e "one two\none two three\none two three four" | awk 'NF>2'
        
    NR：记录数量，在执行过程中对应当前行号
        例：echo -e "one two\none two three\none two three four" | awk 'NR>2'
         
操作符
    算术操作符，加减乘除取余
        +-*/%
        
        指数：num^
            或
                num **
        
        例：    $ awk 'BEGIN { a = 50; b = 20; print "(a + b) = ", (a + b) }'
    
                $ awk 'BEGIN { a = 50; b = 20; print "(a - b) = ", (a - b) }'

                $ awk 'BEGIN { a = 50; b = 20; print "(a * b) = ", (a * b) }'

                $ awk 'BEGIN { a = 50; b = 20; print "(a / b) = ", (a / b) }'

                $ awk 'BEGIN { a = 50; b = 20; print "(a % b) = ", (a % b) }'

    增减运算符
        前自增：先自增，后赋值；前自减：先自减，后赋值
        后自增：先赋值，后自增；后自减：先赋值，后自减
        $ awk 'BEGIN { a = 10; b = ++a; printf "a = %d, b = %d\n", a, b }'

        $ awk 'BEGIN { a = 10; b = --a; printf "a = %d, b = %d\n", a, b }'

        $ awk 'BEGIN { a = 10; b = a++; printf "a = %d, b = %d\n", a, b }'

        $ awk 'BEGIN { a = 10; b = a--; printf "a = %d, b = %d\n", a, b }'
    
    赋值操作符
        awk 'BEGIN' { NAME = "Jerry"; print "my name is ",NAME}
        
    关系操作符
        ==
        !=
        <
        <=
        >
        >=
        
        例：awk 'BEGIN{ a=10;b=10;if(a==b) print "a == b"}
        
    逻辑操作符
        与或非
        &&、||、!
        
        例：awk 'BEGIN{
                num=5;if(num>4 && num<6) printf "%d is in octal format\n",num}'
                
    三元操作符
        pattern?pattern:pattern
            例：awk 'BEGIN{ a=10;b=20;(a>b)?max=a:max=b;print "max=" max}'
            
    正则表达式操作符
        匹配：~
        不匹配：!~
        
        例:tail -n 40 /var/log/nignx/access.log | awk '$0 ~ /ip\[123\.0\.0\.1\]/'
        
    数组
        语法：array_name[index]=value
            
        删除数组
            delete fruits["orange"]
            
        例：awk 'BEGIN{
                arr[0] =1;arr[1]=2;arr[2]=3';for (i in arr) printf"arr[%d] = %d\n",i,arr[i]
                }'
        
流程控制
    if(condition)
        action
        
    if(condition){
        action-1
        action-2
        ....
        action-n
        }
            
    if(condition)
        action-1
    else if(conditon2)
        action-2
    else
        action-3
        
    例： awk 'BEGIN {
            a = 30;
            if (a==10)
                print "a = 10";
            else if (a == 20)
                    print "a = 20";
                else if (a == 30)
                        print "a = 30";
            }'
            
循环
    主要语句
        for，while，do...while，break，continue，exit
        
    for(initialisation;condition;increment/decrement)
        {action}
        
    while (condition)
        {action}
    
    do
        {action}
    while(conditon)
    
    例：
        awk 'BEGIN{
            sum=0;for(i=0;i<20;++i) {sum+=i;if(sum>50) break;else print "sum="},sum
            }
        }'
        
        awk 'BEGIN{
            for (i=1;i<=20;++i) {
                if (i % 2 ==) print i;else continue
            }
        }'
        
        awk 'BEGIN{
            sum=0;for(i=0;i<20;++i){
                sum+=i;if(sum>50) exit(10);else print "sum="sum
                }
            }'
            
双向连接
    发送数据到另一个程序，然后读取结果，需要打开一个到另外一个进程的管道
    符号：|&
        #传递并保存数据，不输出到strout
    双向管道包括from和to
        例：close(to)
        
close(expr)
    关闭管道
    
    例：BEGIN {
            cmd = "tr [a-z] [A-Z]"
            print "hello, world !!!" |& cmd
            close(cmd, "to")
            cmd |& getline out
            print out;
            close(cmd);
        }
    
getline
    读取下一行内容
    例：awk '{getline;print $0}' marks.txt
    
    getline  var < file
        从file中读取，并存储在var中
            
    command | getline var
        将命令输出保存到var中
        
        例："date" | getline var
    
system
    用于执行指定命令并返回退出状态
    例：awk 'BEGIN{ret=system("date");print ret}'

自定义函数
    function function_name(){
        function body }
    
    例：function add(num1,num2){result=num1+num2;return result}
        BEGIN {res = add(10,20);print "10+20="res}