三剑客 -- sed
一 sed介绍
sed全称（stream editor）流式编辑器，Sed主要用来自动编辑一个或多个文件、简化对文件的反复操作、编写转换程序等，工作流程如下
sed 是一种在线的、非交互式的编辑器，它一次处理'一行'内容。处理时，把当前处理的行存储在
临时缓冲区中，称为'模式空间'（pattern space），接着用sed命令处理缓冲区中的内容，处理完
成后，把缓冲区的内容'送往屏幕'。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有
改变，除非你使用重定向存储输出。
sed 的作用单位是行，一行一行的读（逐行匹配），一个一个字符匹配，根据选项决定如何显示
模式空间 硬盘中的文件，读取到内存中的模式空间，默认打印
保持空间
sed命令格式如下
sed [options] 'command' file(s)
sed [options] -f scriptfile file(s)
# 注：
sed和grep不一样，不管是否找到指定的模式，它的退出状态都是0
只有当命令存在语法错误时，sed的退出状态才不是0
vim中sed的使用
%命令 分隔符 匹配内容 分隔符 替换内容 分隔符 命令
%s#syy##g #全局替换
%s#syy##gi #全局替换，忽略大小写
%s#[Ss]yy##g [] :取[] 内的任意一个
%s/()()()()/\4\3\2\1/g #分组
sed支持正则表达式
与grep一样，sed在文件中查找模式时也可以使用正则表达式(RE)和各种元字符。正则表达式是
括在'斜杠间'的模式，用于查找和替换，以下是sed支持的元字符。
# grep可以使用基本元字符集
^, $, ., *, [], [^], \< \>,\(\),\{\}
# grep可以使用扩展元字符集
?, +, { }, |, ( )
# 使用扩展元字符的方式：
1.转义，如\+
2.-r参数，如sed -r
二 sed选项与基本用法示例
2.1 sed选项
#语法
sed 选项 '定位+命令' 文件1
#选项 功能
-e 指定多条规则，对每行内容的多次操作，等于 ；
-n 取消默认的输出(模式空间的内容输出),要与p一起使用，打印匹配内容
-i inplace，就地编辑，把原本要输出大屏幕的内容输出到文件
-r 支持扩展元字符,支持扩展正则
-f 指定规则文件，从而多次使用
#管道与 -e
如果想在上一条命令的基础之上进行后续的处理，应该用管道
如果想用多条命令去处理文件内容应该用-e
sed -r -n -e 's/root/xxx/gi' -e 's/nologin/1111/p' test.txt
# -f 指定文件，可以把匹配的规则放到文件，多次使用
[root@egon day08]# cat sed1.pattern
s/root/xxx/gi
s/nologin/11111/gip
[root@egon day08]# sed -rn -f sed1.pattern test.txt
#命令
s :替换掉匹配的内容
p :打印 打印出匹配的内容，通常与-n选项和用
d :删除模式空间中的内容，从而不输出到屏幕
g :全局，匹配每一行的所有，不加-g只会匹配每一行的第一个,加了的话匹配每一行的所有，进而全局匹配
i :忽略大小写，或插入
a :向匹配行后面插入内容
c :更改匹配行的内容
n :读取下一行，遇到n时会自动跳入下一行
r,w ：读和写编辑命令，r用于将内容读入文件，w用于将匹配内容写入到文件
q :让sed不读取文件中多余的行
#定位，匹配
数字定位
数字代表行号
正则定位
# , 取连续的行 ; 取不连续的行
# ；相当于两条命令一起执行
# $ 表示最后一行
2.2 基本用法示例
sed '' /etc/passwd
sed -r '' /etc/passwd
sed -r 'p' /etc/passwd
sed -r -n 'p' /etc/passwd
sed -r -n '/root/p' /etc/passwd
sed -r -n 's/root/egon/p' /etc/passwd
sed -r -n 's/root/egon/gp' /etc/passwd
sed -r -n 's/root/egon/gip' /etc/passwd
#-n 取消模式空间中的行的默认输出
#-p 只打印匹配的行
注意:（匹配内容含有特殊字符）
sed -r -n '/root/p' /etc/passwd
sed -r -n '#root#p' /etc/passwd
sed -r -n '\crootcp' /etc/passwd
sed -r -n '\/root/p' /etc/passwd
sed -r '\/\/etc\/egon\/666/d' /etc/passwd # 使用左斜杠包含正则的话，需要对正则的/进行转义
# \c可以替换左斜杠/，即'\crootcp'等同于'/root/p'
# \d 转义任意一个 '匹配字符串中不存在的' 字符都可以作为分隔符
# sed中的正则要放到分隔符中（特殊符号）
上例的应用场景如下
# 有文件，内容如下
[root@aliyun ~] cat a.txt
/etc/egon/666
etc
# 需求是将文件内容的/etc/egon/666打印出来
[root@egon ~]# sed -n "//etc/egon/666/p" a.txt
sed：-e 表达式 #1，字符 0：前面没有正则表达式 #报错
[root@egon ~]# sed -n "\b/etc/egon/666bp" a.txt
/etc/egon/666
[root@egon ~]# sed -n "\#/etc/egon/666#p" a.txt
/etc/egon/666
[root@egon ~]# sed -n "\@/etc/egon/666@p" a.txt
/etc/egon/666
#sed与grep不同，可以使用\b外的特殊字符指定边界
#不指定分隔符也可以，但是要转移
2.3 sed扩展之指定地址--- 查
为sed命令指定地址用于决定对哪些行进行编辑。地址形式可以是数字、正则表达式或二者的结合。
使用sed命令时，如果没有指定地址，sed将处理输入文件中的所有行。
[root@hass-11 ~]# cat aa.txt
a
b
c
c
c
d
e
[root@hass-11 ~]# sed -r 'p' aa.txt #默认输出 与-p重复输出
a
a
b
b
...
数字与数字
[root@hass-11 ~]# sed -nr '1,3p' aa.txt
a
b
c
正则与正则
[root@hass-11 ~]# sed -nr '/c/,/e/p' aa.txt
c
c
c
d
e
数字与正则
[root@hass-11 ~]# sed -nr '1,/c/p' aa.txt #匹配到最近的含有C的行就结束匹配
a
b
c
正则与数字
[root@hass-11 ~]# sed -nr '/c/,6p' aa.txt
c
c
c
d
三 sed命令 ---- 增 删 改 查
sed命令告诉sed对指定行进行何种操作，包括打印、删除、修改等。
#命令 功能
a 在当前行后'添加'一行或多行
c 用新文本修改（替换）当前行中的文本
d '删除'行
i 在当前行之前'插入'文本
l 列出非打印字符，用 $ \t \n 表示空格 TAB键
p '打印'行
n 读入'下一输入行'，并从下一条命令而不是第一条命令开始对其的处理（覆盖模式空间中的上一条命令，跳过，忽略的意思）
q 结束或'退出'sed
r 从文件中'读'
! 对所选行'以外'的所有行应用命令
s 用一个字符串'替换'另一个
w 将行'写'入文件
y 将字符转换为另一字符（不支持正则表达式）
h 把模式空间里的内容复制到暂存缓冲区(覆盖)
H 把模式空间里的内容追加到暂存缓冲区
g 取出暂存缓冲区的内容，将其复制到模式空间，覆盖该处原有内容
G 取出暂存缓冲区的内容，将其复制到模式空间，追加在原有内容后面
x 交换暂存缓冲区与模式空间的内容
#替换标志 s
g 在行内进行全局替换
i 忽略大小写
p 打印行
w 将行写入文件
x 交换暂存缓冲区和模式空间的内容
y 将字符转换成另外一个字符
#逗号和分号
, 逗号表示连续的分割
; 分号表示不连续的分割，等于 -e
sed命令示例
1.打印命令：p ,p命令通常与 -n一起使用
sed -n '3p' 1.txt #打印文件中的第三行内容
sed -n '2~2p' 1.txt #从第二行开始，每隔两行打印一行，波浪号后面的2表示步长
sed -n '$p' 1.txt #打印文件的最后一行
sed -n '1,3p' 1.txt #打印1到3行
sed -n '3,$p' 1.txt #打印从第3行到最后一行的内容
sed -n '/you/p' 1.txt #逐行读取文件，打印匹配you的行
sed -n '/you/,3p' 1.txt #打印匹配you 的行到第3行，也打印后面所有匹配you 的行
sed -n '3,/you/p' 1.txt #只打印第三行到匹配you的行，不打印后面所有匹配you 的行
sed -n '/too/,$p' 1.txt #打印从匹配too的行到最后一行的内容
sed -n '/too/,+1p' 1.txt #打印匹配too的行及其向后一行，如果有多行匹配too，则匹配的每一行都会向后多打印一行
sed -n '/bob/,/too/p' 1.txt #打印从匹配内容bob到匹配内容too的行
2.删除命令：d，注意用引号，不加 -n
# sed '3d' a.txt
# sed '$d' 1.txt #删除最后一行
# sed '/123/d' 1.txt #删除匹配123的行
# sed '/123/,$d' 1.txt #删除从匹配123的行到最后一行
# sed '/123/,+1d' 1.txt #删除匹配123的行及其后面一行
# sed '/^$/d' 1.txt #删除空行,但是不包括，空格 TAB等组成的空格
# sed '1~2d' 1.txt #从第一行开始删除，每隔2行就删掉一行，即删除奇数行
# sed '1,2d' 1.txt #删除1~2行
[root@hass-11 ~]# cat aa.txt
a
b
c
c
c
d
e
[root@hass-11 ~]# sed -r '1d;6d' aa.txt
b
c
c
c
e
[root@hass-11 ~]# sed -r '/sss/d' aa.txt #没有匹配到，打印所有行
a
b
c
c
c
d
e
[root@hass-11 ~]# sed -r '/c/d' aa.txt #删除匹配到的所有行
a
b
d
e
[root@hass-11 ~]# sed -r '/a/,/c/d' aa.txt #匹配到最近的行即结束
c
c
d
e
[root@hass-11 ~]# sed -r '/c/,/e/d' aa.txt #匹配到最近的行即结束
a
b
[root@hass-11 ~]# sed -r '/a/,/d/d' aa.txt
e
[root@hass-11 ~]# sed -r '1,/d/d' aa.txt
e
[root@hass-11 ~]# sed -r '/a/,6d' aa.txt
e
[root@hass-11 ~]# sed -r '/a/,/d/{/c/d}' aa.txt #删除匹配的所有行
a
b
d
e
[root@hass-11 ~]# sed -r '/1/,/d/{/c/d}' aa.txt #只删除匹配的第一行
a
b
c
c
c
d
e
3.替换命令：s
# sed -r 's/egon/Bigegon/' a.txt #只替换含有egon的行的第一个egon
# sed -r 's/egon/Bigegon/2' a.txt #只替换含有egon的行的第二个egon
# sed -r 's/egon/Bigegon/g' a.txt #替换含有egon的行的所有egon
# sed -r '2s/.*/Bigegon/g' a.txt #整行修改，此时s与c作用相同
# sed -r 's/^egon/Bigegon/g' a.txt
# sed -r 's/[0-9]$/&.change/' a.txt # &代表取到匹配成功的整行内容
# sed -r 's/^([a-zA-Z]+)([^[a-zA-Z]+)/\2\1/' a.txt #倒叙
# sed -n 's/123/hello/gpw 2.txt' 1.txt #将每行中所有匹配的123替换为hello，并将替换后的内容写入2.txt
# sed '/#/s/,.*//g' 1.txt #匹配有#号的行，替换匹配行中逗号后的所有内容为空 (,.*)表示逗号后的所又内容
# sed 's/..$//g' 1.txt #替换每行中的最后两个字符为空，每个点代表一个字符，$表示匹配末尾 （..$）表示匹配最后两个字符
# sed 's/^#.*//' 1.txt #将1.txt文件中以#开头的行替换为空行，即注释的行 ( ^#)表示匹配以#开头，（.*）代表所有内容
# sed 's/^#.*//;/^$/d' 1.txt #先替换1.txt文件中所有注释的空行为空行，然后删除空行，替换和删除操作中间用分号隔开
# sed 's/^[0-9]/(&)/' 1.txt #将每一行中行首的数字加上一个小括号 (^[0-9])表示行首是数字，&符号代表匹配的内容
或者
# sed 's/[0−9]/(\1)/' 1.txt #替换左侧特殊字符需钥转义，右侧不需要转义，\1代表匹配的内容
# sed 's/$/&'haha'/' 1.txt # 在1.txt文件的每一行后面加上"haha"字段
4.多重编辑命令：e ;
# sed -r -e '1,3d' -e 's/[Ee]gon/EGON/g' a.txt # 在前一个-e的基础之上进行第二个-e操作
# sed -r '1,3d;s/[Ee]gon/EGON/g' a.txt
# sed -r '3{s/[0-9]/x/g;s/[Ee]gon/EGON/g}' a.txt # 只处理第三行
# sed -r '1,3{s/[0-9]/x/g;s/[Ee]gon/EGON/g}' a.txt # 处理1到3行
# sed -r -n '1p;p' a.txt # ;分隔依次运行，先针对第一行进行p操作，再针对所有行进行p操作
# sed -r -n '1{p;p}' a.txt # 只针对第一行，连续进行两次p操作
5.反向选择!
# sed -r '3!d' a.txt
# sed '1,2!d' 1.txt #删除1~2之外的所有行
# sed '/123\|abc/!d' 1.txt #删除不匹配123或abc的行，/123\|abc/ 表示匹配123或abc ，！表示取反
# sed '1,3{/123/d}' 1.txt #删除1~3行中，匹配内容123的行，1,3表示匹配1~3行，{/123/d}表示删除匹配123的行
6.读文件命令：r
# sed 'r 2.txt' 1.txt #将文件2.txt中的内容，读入1.txt中，会在1.txt中的每一行后都读入2.txt的内容
# sed '3r 2.txt' 1.txt #在1.txt的第3行之后插入文件2.txt的内容（可用于向文件中插入内容）
# sed '$r 2.txt' 1.txt #在1.txt的最后一行插入2.txt的内容
# sed -r '/^Egon/r b.txt' a.txt # 在匹配成功的行后添加文件b.txt的内容
# sed -r '/2/r b.txt' a.txt # 在a.txt中第2行后面添加文件b.txt的内容
7.写文件命令：w
# sed -n 'w 2.txt' 1.txt #将1.txt文件的内容写入2.txt文件，如果2.txt文件不存在则创建，如果2.txt存在则覆盖之前的内容
# sed -n '2w 2.txt' 1.txt #将文件1.txt中的第2行内容写入到文件2.txt
# sed -n -e '1w 2.txt' -e '$w 2.txt' 1.txt #将1.txt的第1行和最后一行内容写入2.txt(覆盖)
# sed -n -e '1w 2.txt' -e '$w 3.txt' 1.txt #将1.txt的第1行和最后一行分别写入2.txt和3.txt(覆盖)
# sed -n '/abc\|123/w 2.txt' 1.txt #将1.txt中匹配abc或123的行的内容，写入到2.txt中
# sed -n '/666/,$w 2.txt'1.txt #将1.txt中从匹配666的行到最后一行的内容，写入到2.txt中
# sed -n '/xyz/,+2w 2.txt' 1.txt #将1.txt中从匹配xyz的行及其后2行的内容，写入到2.txt中
# sed -r '/[Ee]gon/w b.txt' a.txt # 将匹配成功的行写入新文件b.txt
# sed -r '3,$w /root/new.txt' a.txt # 将第3行到最后一行写入/root/new.txt
8.追加命令：a,a后可以有空格
# sed -r '2aXXXXXXXXX' a.txt # 在第2行后添加一行
# sed -r '$aXXXXXXXXX' a.txt # 在最后一行后添加一行
9.插入命令：i
# sed -r '2i1111111111111' /etc/hosts
# sed -r '$iXXXXXXXXX' a.txt # 在最后一行前插入一行
10.修改命令：c，整行修改
# sed -r '2c1111111111111' a.txt 将文件a.txt中的第二行替换为1111111111111
# sed '/123/chello' a.txt 将包含123的行替换为hello
# sed '$chello' 1.txt 将最后一行替换为hello
11.把下一行内容读入模式空间：n
# sed -r '/^Egon/{n;s/[0-9]/x/g}' a.txt # 将匹配/^Egon/成功的行的下一行读入模式空间进行s处理
12.转换命令：y ，只能转换指定的字符，不能是正则，一一对应
# sed -r '1,3y/Eeo/12X/' a.txt # 1到3行进行转换 对应规则：a->1 e->2 o->X
13.退出：q
# sed -r '5q' a.txt
# sed -r '/[Ee]gon/{ s/[0-9]/X/; q; }' a.txt # 匹配成功/[Ee]gon/则执行{}内命令，q代表退出，即替换一次则退出，如果文件中多行符合规则的内容也只替换了第一个
14.打印文件行号
sed -n "$=" 1.txt #打印1.txt文件最后一行的行号（即文件有多少行，和wc -l 功能类似
sed -n '/error/=' 1.txt #打印匹配error的行的行号
sed -n '/error/{=;p}' 1.txt #打印匹配error的行的行号和内容（可用于查看日志中有error的行及其内容
四 模式空间与保持空间
sed 有两个内置的存储空间：
-
模式空间（pattern space）：
如你所知，模式空间用于 sed 执行的正常流程中。该空间 sed 内置的一个缓冲区，用来存放、修改从输入文件读取的内容。
-
保持空间（hold space）：
保持空间是另外一个缓冲区，用来存放临时数据。Sed 可以在保持空间和模式空间交换数据，但是不能在保持空间上执行普通的 sed 命令。
#文件操作过程
1.将硬盘中的文件一次读取所有内容到内存，增删改查，再删除源文件，写入新文件到硬盘
硬盘中的文件内容不能直接操作
内存中的文件内容能直接操作
vim cat
优点：
可以一次读取所有内容，操作方便
缺点：
耗费内存
怕断电
2.将硬盘中的文件一行一行的读取到内存，增删改查，再删除源文件，写入新文件到硬盘
sed
优点：
占用内存小
缺点：
命令复杂
#sed对文件读取，操作，存储都是一行一行的进行
我们已经讨论过，每次循环读取数据过程中，模式空间的内容都会被清空，然而保持空间的内容则保持不变，不会在循环中被删除。
模式空间与保持空间的操作命令
x：命令x(exchange) 用于交换模式空间和保持空间的内容
h：模式空间复制/'覆盖'到保持空间
H：模式空间'追加'到保持空间
g：保持空间复制/'覆盖'到模式空间
G：保持空间'追加'到模式空间
n：读取下一行到/'覆盖'到模式空间
N：将下一行'追加'到模式空间
d：删除'模式空间'中的所有行，并读入下一新行到模式空间中
#保持空间并不影响sed的原来的工作流程，保持空间的作用是可以指定模式空间中的上一行与下一行的关系
#数字表示第几行
示例:交换文件的行
[root@egon ~]# cat test.txt
1111
2222
3333
# ======================方式1：======================
[root@egon ~]# tac test.txt
3333
2222
1111
#不能打开写入同一个文件
[root@egon ~]# tac test.txt > test.txt.bak ; mv test.txt.bak test.txt
# ======================方式2：======================
思路：
1、读取文件第一行内容到模式空间，进行的操作如下
将模式空间内容'覆盖'到保持空间
'删除'模式空间内容
2、读取文件第二行内容到模式空间，进行的操作如下
将保持内容'追加'到模式空间
将模式空间内容'覆盖'到保持空间
'删除'模式空间内容
3、读取文件第三行内容到模式空间，进行的操作如下
将保持空间内容'追加'到模式空间
实现：
sed -r '1h;1d;2G;2h;2d;3G' test.txt
或者
sed '1!G;h;$!d' test.txt
五 sed脚本
sed脚本就是写在文件中的一系列sed命令，使用-f 选项指定sed脚本文件名，需要注意的问题如下
- 脚本末尾不能有任何多余的空格或文本
- 如果命令不能独占一行，就必须以\结尾
- 脚本中不能使用引号，除非它们是查找串的一部分
- 反斜杠起到续行的作用
[root@egon ~]# cat sed.sh # 永久存储，存了多行sed命令，每一行都会单独完整处理一次test.txt
1!G;h;$!d
1h;1d;2G;2h;2d;3G
[root@egon ~]# sed -r -f sed.sh test.txt
3333
2222
1111
3333
2222
1111
六 练习
删除配置文件中#号注释
sed -r -i '/^#/d' file.conf
sed -r -i '/^[ \t]*#/d' file.conf
删除配置文件中//号注释行
sed -r -i '\c//cd' file.conf
删除无内容空行
sed -r '/^$/d' file.conf
sed -r '/^[\t]*$/d' file.conf
sed -r '/^[ \t]*$/d' file.conf
示例：
# 删除#号注释和无内容的空行
sed -r -i '/^[ \t]*#/d; /^[ \t]*$/d' /etc/vsftpd/vsftpd.conf
sed -r -i '/^[ \t]*#|^[ \t]*$/d' /etc/vsftpd/vsftpd.conf
sed -r -i '$a\chroot_local_user=YES' /etc/vsftpd/vsftpd.conf # 追加一行，\可有可无，有更清晰
给文件每行加注释
sed -r -i 's/^/#/' filename
为指定行加注释
sed -r -i '10,$s/^/#/' filename
sed -r '3,$s/^#*/#/' filename # 将行首连续的零个或多个#换成一个#
sed中使用外部变量
# var1=666
# sed -r 3a$var1 test.txt # 可以不加引号
# sed -r "3a$var1" test.txt # 也可以加引号，但注意是双引号而不是单引号，因为要用$符号取变量值
# sed -r '3a'"$var1" test.txt # 也可以sed命令用''引起来，而变量用""，注意二者之间不能有空格
sed 在shell脚本中的使用
#实例1：替换文件中的内容
#!/bin/bash
if [ $# -ne 3 ];then #判断参数个数
echo "Usage: $0 old-part new-part filename" #输出脚本用法
exit
fi
sed -i "s#$1#$2#" $3 #将 旧内容进行替换，当$1和$2中包含"/"时，替换指令中的定界符需要更换为其他符号
#实例2：删除文件中的空白行
#!/bin/bash
if [ ! -f $1 ];then #判断参数是否为文件且存在
echo "$1 is not a file"
exit
fi
sed -i "/^$/d" $1 #将空白行删除
#实例3：格式化文本内容
#!/bin/bash
a='s/^ *>// #定义一个变量a保存sed指令，'s/^ *>//'：表示匹配以0个或多空格开头紧跟一个'>'号的行，将匹配内容替换
s/\t*// #'s/\t*//'：表示匹配以0个或多个制表符开头的行，将匹配内容替换
s/^>// #'s/^>//' ：表示匹配以'>'开头的行，将匹配内容替换
s/^ *//' #'s/^ *//'：表示匹配以0个或多个空格开头的行，将匹配内容替换
#echo $a
sed "$a" $1 #对用户给定的文本文件进行格式化处理
------------------------------------------------------------------------------
#实用脚本：批量更改当前目录中的文件后缀名：
#示例1：
#!/bin/bash
if [ $# -ne 2 ];then #判断用户的输入，如果参数个数不为2则打印脚本用法
echo "Usage:$0 + old-file new-file"
exit
fi
for i in *$1* #对包含用户给定参数的文件进行遍历
do
if [ -f $i ];then
iname=`basename $i` #获取文件名
newname=`echo $iname | sed -e "s/$1/$2/g"` #对文件名进行替换并赋值给新的变量
mv $iname $newname #对文件进行重命名
fi
done
exit 666
#示例2：
#!/bin/bash
read -p "input the old file:" old #提示用户输入要替换的文件后缀
read -p "input the new file:" new
[ -z $old ] || [ -z $new ] && echo "error" && exit #判断用户是否有输入，如果没有输入怎打印error并退出
for file in `ls *.$old`
do
if [ -f $file ];then
newfile=${file%$old} #对文件进行去尾
mv $file ${newfile}$new #文件重命名
fi
done
#示例3：
#!/bin/bash
if [ $# -ne 2 ];then #判断位置变量的个数是是否为2
echo "Usage:$0 old-file new-file"
exit
fi
for file in `ls` #在当前目录中遍历文件
do
if [[ $file =~ $1$ ]];then #对用户给出的位置变量$1进行正则匹配，$1$表示匹配以变量$1的值为结尾的文件
echo $file #将匹配项输出到屏幕进行确认
new=${file%$1} #对文件进行去尾处理，去掉文件后缀保留文件名，并将文件名赋给变量new
mv $file ${new}$2 #将匹配文件重命名为：文件名+新的后缀名
fi
done
