grep
grep 是linux 中最常用的“文本处理工具之一” 与sed awk 合称为linux中的三剑客！
grep 就像你在windows中打开txt文件，使用快捷键“Ctrl+F” 在文本中查找某个字符串一样，可以把grep 理解为字符查找工具
grep 的全程为Global search Regular Expression and Print out the line 为全局搜索的意思
-i:在搜索的时候忽略大小写 [root@localhost ~]# cat /etc/passwd|grep -i "SSH" sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin -n: 显示结果所在行号 [root@localhost ~]# cat /etc/passwd|grep -ni "SSH" 17:sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin -c:统计匹配到的行数 [root@localhost ~]# cat /etc/passwd|grep "root" root:x:0:0:root:/root:/bin/bash operator:x:11:0:operator:/root:/sbin/nologin [root@localhost ~]# cat /etc/passwd|grep -c "root" 2 -w:匹配单个单词，如果字符串中包含这个单词，则不匹配 [root@localhost ~]# cat /etc/passwd.bak|grep -w "root" root:x:0:0:root:/root:/bin/bash rootroo:x:0:0:root:/root:/bin/bash #不会显示rootroo的 -e:实现多个选项的匹配。逻辑或or的关系 ==egrep ==grep -E [root@localhost ~]# cat /etc/passwd.bak|egrep -w "root|sshd" root:x:0:0:root:/root:/bin/bash rootroo:x:0:0:root:/root:/bin/bash operator:x:11:0:operator:/root:/sbin/nologin sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin -q: 静默模式，不输出任何信息 判断：echo $? [root@localhost ~]# cat /etc/passwd.bak|grep -q "root" -v:输出不带关键字的行（反向查询，反向匹配） [root@localhost ~]# cat /etc/passwd.bak|grep -v "root" bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin sync:x:5:0:sync:/sbin:/bin/sync shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown halt:x:7:0:halt:/sbin:/sbin/halt mail:x:8:12:mail:/var/spool/mail:/sbin/nologin games:x:12:100:games:/usr/games:/sbin/nologin ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin nobody:x:99:99:Nobody:/:/sbin/nologin systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin dbus:x:81:81:System message bus:/:/sbin/nologin polkitd:x:999:998:User for polkitd:/:/sbin/nologin sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin postfix:x:89:89::/var/spool/postfix:/sbin/nologin chrony:x:998:996::/var/lib/chrony:/sbin/nologin
sed
流编辑器，主要用来过滤和替换文本内容
工作原理：
1. sed是流编辑器，不允许用户与它进行交互操作.sed是以行为单位处理文本内容的.每一次读取一行到内存中，即称之为模式空间(pattern space)
2. 默认不修改原文件，如果需要修改需加-i参数
3. sed有模式空间及保持空间(hold sapce)，默认打印模式空间中的内容到标准输出
4. sed读取每行的时候会将内容保存至内存中
5. 支持正则和扩展正则表达式，除-y选项
用法：
sed [选项] ‘地址定界 动作’ file_name
选项：
-n ：使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN 的数据一般都会被列出到终端上。
但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。一般跟（p参数结合使用）
-e ：直接在命令列模式上进行 sed 的动作编辑；
-f ：直接将 sed 的动作写在一个文件内， -f filename 则可以运行 filename 内的 sed 动作；
-r ：sed 的动作支持的是延伸型正规表示法的语法。(默认是基础正规表示法语法)
-i ：直接修改读取的文件内容，而不是输出到终端。
动作/命令：
a ：新增行， a 的后面可以是字串，而这些字串会在新的一行出现(匹配行的下一行)
c ：替换行，将匹配的行替换为指定字符“test”
d ：删除行，因为是删除，所以 d 后面通常不接任何参数，直接删除地址表示的行；
i ：插入行， i 的后面可以接字串，而这些字串会在新的一行出现(匹配行的上一行)；
p ：打印，即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行
s ：替换，可以直接进行替换的工作,通常这个 s 的动作可以搭配正规表示法，例如 1,20s/old/new/g 一般是替换符合条件的字符串而不是整行
w :将模式空间匹配到的行，写入指定文件中
r ：将PATH中指定的文件写入匹配到的行下方，多用于文件合并。
=：显示行号
! : 条件取反，一般用于模式之后，命令之前
示例：
地址定界常规方法：
1：空地址。即对全文就行处理 g是全局替换
[root@master ~]# sed 's/root/ROOT/g' /etc/passwd
从第三次开始替换
[root@master ~]# echo "sksksksksksk" | sed 's/sk/SK/3g'
skskSKSKSKSK
所有已mysql开头的都被替换为mysql_wg007 (&符号表示匹配字符)
[root@master ~]# sed 's/^mysql/&_wg007/' /tmp/passwd
2：单地址
[root@master ~]# sed -n '2p' /etc/passwd bin:x:1:1:bin:/bin:/sbin/nologin
打印以#号开头的行
[root@master ~]# sed -n '/^#/p' /tmp/passwd #root:x:0:0:root:/root:/bin/bash
3：地址范围
显示1-3行的内容
[root@master ~]# sed -n '1,3p' /tmp/passwd #root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin
显示：从第三行开始，往下再来3行
[root@master ~]# sed -n '3,+3p' /tmp/passwd
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
4：步进地址表示法
打印奇数行
[root@master ~]# sed -n '1~2p' /tmp/passwd
打印偶数行
[root@master ~]# sed -n '2~2p' /tmp/passwd
d:删除模式空间的内容
删除第一行的内容
[root@master ~]# sed '1d' /tmp/passwd
删除1-3行的内容
[root@master ~]# sed '1,3d' /tmp/passwd
删除空行
sed '/^$/d' /tmp/passwd
a:追加
在以#号开头的行号后面新增一行字符“123”
[root@master ~]# sed '/^#/a "123"' /tmp/passwd #root:x:0:0:root:/root:/bin/bash "123"
在第一行后面新增字符“huazai007”
[root@master ~]# sed '1a"huazai007"' /tmp/passwd #root:x:0:0:root:/root:/bin/bash "huazai007"
i:插入
在第三行的前面插入字符“huazai007”
[root@master ~]# sed '3i"huazai007"' /tmp/passwd #root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin "huazai007" daemon:x:2:2:daemon:/sbin:/sbin/nologin
在以lp开头的行前插入一行
[root@master ~]# sed '/^lp/i"huazai007"' /tmp/passwd #root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin "huazai007" lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
在以nologin结尾的行前插入一行
smmsp:x:51:51::/var/spool/mqueue:/sbin/nologin "huazai007" mysql:x:27:27:MariaDB Server:/var/lib/mysql:/sbin/nologin [root@master ~]# sed '/nologin$/i"huazai007"' /tmp/passwd
c:替换
当前行只要包含“”root“” 这个字符串，整行会被替换为“huazai007”
[root@master ~]# sed '/root/c"huazai007"' /tmp/passwd "huazai007"
将以#号开头的替换为“”huazai007“”
[root@master ~]# sed '/^#/c"huazai007"' /tmp/passwd "huazai007"
w : 将模式空间匹配到的行，写入指定文件中
将以#号开头的行写入到result.txt文件
[root@master ~]# sed '/^#/w result.txt' /tmp/passwd
[root@master ~]# cat result.txt #root:x:0:0:root:/root:/bin/bash
将1-3行写入到result文件
[root@master ~]# sed '1,3w result.txt' /tmp/passwd
r /PATH : 将PATH中指定的文件写入匹配到的行下方，多用于文件合并。
将result.txt 的内容写入到 以mysql开头并且以nologin结尾的行后面
mysql:x:27:27:MariaDB Server:/var/lib/mysql:/sbin/nologin
#root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
[root@master ~]# sed '/^mysql.*nologin$/r result.txt' /tmp/passwd
=：显示行号
显示最后一行的行号
24
mysql:x:27:27:MariaDB Server:/var/lib/mysql:/sbin/nologin
[root@master ~]# sed '$=' /tmp/passwd
显示以ftp开头的行号，在匹配行上方显示行号
[root@master ~]# sed '/^ftp.*nologin$/=' /tmp/passwd
12
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
! : 条件取反，一般用于模式之后，命令之前
除了#号开头的都打印出来
sed -n '/^#/!p' /tmp/passwd
sed高级用法：模式空间与保持空间
模式空间：sed处理文本内容行的一个临时缓冲区，模式空间中的内容会主动打印到标准输出，并自动清空模式空间
保持空间：sed处理文本内容行的另一个临时缓冲区，不同的是保持空间内容不会主动清空，也不会主动打印到标准输出，而是需要sed命令来进行处理
模式空间与保持空间的关系
模式空间：相当于流水线，文本行在模式空间中进行处理；
保持空间：相当于仓库，在模式空间对数据进行处理时，可以把数据临时存储到保持空间；作为模式空间的一个辅助临时缓冲区，但又是相互独立，可以进行交互，命令可以寻址模式空间但是不能寻址保持空间。可以使用高级命令h,H,g,G与模式空间进行交互。
hold：（H|h）(追加|覆盖)到保持空间
get：（G|g）（追加|覆盖）到模式空间
exchange：（x）空间互换
h : 把模式空间中的内容覆盖至保持空间中
H : 把模式空间中的内容追加至保持空间中
g : 把保持空间中的内容覆盖至模式空间中
G : 把保持空间中的内容追加至模式空间中
x : 把模式空间中的内容到保持空间中的内容互换，初始保持空间中为空
n : 读取下一行覆盖模式空间中的行
seq 11 | sed 'n;d' : 显示结果为1、3、5、7、9、11 ，默认动作先输出模式空间中的行，再覆盖读取下一行，再执行d命令 seq 10 | sed 'n;d' : 显示结果为1、3、5、7、9
N : 读取下一行并追加到模式空间中的行后面，使用\n分隔
seq 11 | sed 'N;d' : 显示结果为11，默认动作先读取两行，然后执行d操作 seq 10 | sed 'N;d' :显示结果为空
D : 删除模式空间中的多行 seq 11 | sed 'N;D' : 显示结果为11 {} : 多命令同时执行时，需要使用{}括起来 sed -n '/^UUID/{N;p}' fstab1 : 读取UUID开始的行，再读取下一行并打印模式空间的内容。
理解n与N
n : 读取下一行覆盖模式空间中的行
N : 读取下一行并追加到模式空间中的行后面，使用\n分隔
[root@master ~]# seq 4 |sed 'n;d' 1 3
说明：pattern space先读入1，然后执行到n，把下一行2读入pattern space中并覆盖原本的1。然后pattern space中的内容（2）被删除（d操作），所以打印出1\n3
[root@master ~]# seq 5|sed 'N;d' 5
[root@master ~]# seq 5 |sed -n 'n' [root@master ~]# seq 5 |sed -n 'N'
以上两都不会输出输入，-n参数把模式空间中的内容关闭显示了
[root@master ~]# seq 5 |sed -n 'n;p' 2 4
说明：-n参数不显示模式空间的内容，说明：模式空间中有1，然后n使用2覆盖1，再p打印，当执行到第5行时，发现没有下一行了，就不执行n了
[root@master ~]# seq 5 |sed -n 'N;p' 1 2 3 4
说明：n首先读取1\n2 -->打印模式空间 -->读取3\n4--->打印模式空间--->读取5行发现没有第6行--->失败
理解x:
把模式空间中的内容到保持空间中的内容互换，初始保持空间中为空
[root@master ~]# seq 4 |sed '/3/{x;p;x}'
1
2
3
4
说明：当匹配到3的时候，执行交换，现在模式空间为空行，保持空间中为3，执行p命令显示模式空间中的空行，x再交换两这空间的内容，此是模式空间为3,默认模式空间的就会输出至标准屏幕，故3之前多了一个空行
[root@master ~]# seq 4 |sed '/3/{x;p;x;d}'
1
2
4
说明：当第二个x交换回来，直接交给d执行，故3就没有了，只多了一条空行
理解h和H
h : 把模式空间中的内容覆盖至保持空间中
H : 把模式空间中的内容追加至保持空间
[root@master ~]# seq 4 |sed 'h;x' 1 2 3 4
说明：把模式空间中的内容覆盖到保持空间，再交换，再打印至标准输出
[root@master ~]# seq 4 |sed 'x;h'
说明：先把模式空间的与保持空间交换，现在模式空间为空行，保持空间为1，然后再把模式空间覆盖保持空间，再输出至标准输出，故都为空行
[root@master ~]# seq 4 |sed 'H;x' 1 1 2 2 3 3 4
说明： 把模式空间中的内容（1）追加到保持空间（0+1），再交换，此时模式空间空间为（0+1），保持空间为（1）再打印至标准输出
[root@master ~]# seq 4 |sed 'x;H' 1 2 1 3 2 1
说明： 将模式空间的（1）和保持空间的（0）互换，再将模式空间的（0）追加到保持空间的（1）下 。此时保持空间为（10），模式空间为（0）。再打印标准输出0，以此类推
理解g和G
g : 把保持空间中的内容覆盖至模式空间中
G : 把保持空间中的内容追加至模式空间中
[root@master ~]# seq 4 |sed '/3/g' 1 2 4
说明：当匹配到3的时候，把保持空间的空行覆盖到模式空间，故就输出了空行
[root@master ~]# seq 3 | sed '1!G' 1 2 3
说明： 不是第1行就执行G操作，G是追加保持空间到模式空间，即为2+空行
awk
awk 是一个优良的文本处理工具。（其名称得自于它的创始人阿尔佛雷德·艾侯、彼得·温伯格和布莱恩·柯林汉姓氏的首个字母）
语法：awk 'pattern {action}' file_name
其中 pattern 表示 AWK 在数据中查找的内容，而 action 是在找到匹配内容时所执行的一系列命令
awk内置变量
属性 说明 $0 当前记录（作为单个变量） $1~$n 当前记录的第n个字段，字段间由FS分隔 FS 输入字段分隔符 默认是空格 NF 当前记录中的字段个数，就是有多少列 NR 已经读出的记录数，就是行号，从1开始 RS 输入的记录他隔符默 认为换行符 OFS 输出字段分隔符 默认也是空格 ORS 输出的记录分隔符，默认为换行符 ARGC 命令行参数个数 ARGV 命令行参数数组 FILENAME 当前输入文件的名字 IGNORECASE 如果为真，则进行忽略大小写的匹配 ARGIND 当前被处理文件的ARGV标志符 CONVFMT 数字转换格式 %.6g ENVIRON UNIX环境变量 ERRNO UNIX系统错误消息 FIELDWIDTHS 输入字段宽度的空白分隔字符串 FNR 当前记录数 OFMT 数字的输出格式 %.6g RSTART 被匹配函数匹配的字符串首 RLENGTH 被匹配函数匹配的字符串长度 SUBSEP \034
[root@localhost ~]# awk '{print $0}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
print 是打印命令 $0 是代表当前行
awk 会根据空格和制表符，将每一行分成若干字段，一次用$1,$2,$3代表第一个字段，第二个字段，第三个字段
-F 指定分隔符为冒号
[root@localhost ~]# awk -F ':' '{print $1，$2}' /etc/passwd
root
bin
daemon
adm
lp
sync
shutdown
awk 常用变量
NF：表示最后一个字段
[root@localhost ~]# awk -F ':' '{print $NF}' /etc/passwd
/bin/bash
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
$(NF-1):表示倒数第二个字段
[root@localhost ~]# awk -F ':' '{print $(NF-1)}' /etc/passwd
/root
/bin
/sbin
/var/adm
/var/spool/lpd
NR：表示当前处理的是第几行
输出第二行
[root@localhost ~]# awk -F ":" 'NR==2 {print}' /etc/passwd
bin:x:1:1:bin:/bin:/sbin/nologin
输出第三行以后的行
[root@localhost ~]# awk -F ':' 'NR>3 {print}' /etc/passwd
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
awk 内置函数
toupper()用于将字符转为大写【t^ber】
[root@localhost ~]# awk -F ':' '{print toupper($1)}' /etc/passwd
ROOT
BIN
DAEMON
ADM
LP
tolower()用于将字符串转为小写
[root@localhost ~]# awk -F ':' '{print toupper($1)}' /etc/passwd >/tmp/aa.txt
[root@localhost ~]# awk '{print tolower($1)}' /tmp/aa.txt
root
bin
daemon
adm
awk 允许指定输出条件，只输出符合条件的行
打印包含root的行
[root@localhost ~]# awk '/root/ {print}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
输出第一个字段等于指定值的行
[root@localhost ~]# awk -F ':' '$1=="root" {print}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
awk if else语句
假如$1==root 打印第一个字段，否则打印第二个字段
[root@localhost ~]# awk -F : '{if ($1=="root") print $1;else print $2}' /etc/passwd
root
x
x
x
x
awk 高级用法BEGIN END
awk '
BEGIN { actions }
/pattern/ { actions }
/pattern/ { actions }
……….
END { actions }
' filenames
BEGIN模式：是指 awk 将在读取任何输入行之前立即执行BEGIN中指定的动作。END模式：是指 awk 将在它正式退出前执行END中指定的动作
因此，通常使用BEGIN来显示变量和预置（初始化）变量，使用END来输出最终结果
数字求和
#!/bin/bash sum=0 for i in `seq 1 10` do echo $i sum=`expr $sum + $i` done echo $sum
#!/bin/bash
sum=0
for i in $(seq 10)
do
#echo $i
let sum=sum+$i
done
echo $sum
使用awk：
seq 10|awk '{sum+=$0} END {print sum}'
例：累计销售文件xs中的销售金额（假设销售金额在记录的第三字段）： cat sx 一:50件:200.00 二:60件:300.00 三:70件:400.00
[root@localhost ~]# awk 'BEGIN {FS=":";print "统计销售金额";total=0} {print $3;total=total+$3;} END {printf "销售金额总计: %.2f\n",total}' sx
统计销售金额
200.00
300.00
400.00
销售金额总计: 900.00
AWK 数组
awk可以使用关联数组这种数据结构，索引可以是数字或字符串。
AWK关联数 组也不需要提前声明其大小，因为它在运行时可以自动的增大或减小。
定义数组，并且打印数组元素
awk 'BEGIN{a[0]="xiaohong";a[1]="xiaolan";print a[0]}'
打印所有元素的下标（索引）
awk 'BEGIN{a[0]="xiaohong";a[1]="xiaolan";for (i in a)print i;}'
打印所有元素
awk 'BEGIN{a[0]="xiaohong";a[1]="xiaolan";for (i in a)print a[i];}'
统计访问网站的ip地址的个数
[root@localhost ~]# awk '{ip[$1]} END {for (i in ip) print i}' /var/log/httpd/access_log #打印下标
172.18.47.60
172.18.47.61
127.0.0.1
[root@localhost ~]# awk '{ip[$1]++} END {for (i in ip) print i}' /var/log/httpd/access_log
172.18.47.60
172.18.47.61
127.0.0.1
[root@localhost ~]# awk '{ip[$1]++} END {for (i in ip) print i,ip[i]}' /var/log/httpd/access_log
172.18.47.60 1001
172.18.47.61 1001
127.0.0.1 1001
