sed

 

$ grep -i ""  filename        //显示某文件，并且带行号

1. Sed简介  
sed 是一种在线编辑器，它一次处理一行内容,。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。

格式：

sed [option] '[/pattern/ | number],[/pattern/ | number][command]'   file(s)          # 行判定

sed [option] '/pattern/[command]'   file(s)                                          # 字符过滤判定

sed '2,5d'  file
sed '3,/pattern/d' file
sed '3,/pattern/s/x/y/g' file
sed '/pattern1/,/pattern2/s/x/y/g' file
sed -n '/pattern/p'  

2. 定址 

定址用于决定对哪些行进行编辑。地址的形式可以是数字、正则表达式、或二者的结合。如果没有指定地址，sed将处理输入文件的所有行。
可以通过定址来定位你所希望编辑的行，该地址用数字构成，用逗号分隔的两个行数表示以这两行为起止的行的范围（包括行数表示的那两行）。
如1，3表示1，2，3行，美元符号($)表示最后一行。范围可以通过数据，正则表达式或者二者结合的方式确定。

地址是一个数字，则表示行号；是“$"符号，则表示最后一行。例如：
sed -n '3p' datafile    //只打印第三行

只显示指定行范围的文件内容，例如：
sed -n '100,200p' mysql_slow_query.log   //只查看文件的第100行到第200行

范围可以用数字、正则表达式、或二者的组合表示。例如：
sed '2,5d' datafile   #删除第二到第五行
sed '/My/,/You/d' datafile  #删除包含"My"的行到包含"You"的行之间的行
sed '/My/,10d' datafile     #删除包含"My"的行到第十行的内容

-n参数说明

个人认为一般和p命令配合使用

mutian@mutian:~/test$ cat s
1
2
3
4
5
mutian@mutian:~/test$ mv s file
mutian@mutian:~/test$ cat file
1
2
3
4
5
mutian@mutian:~/test$ sed "p" file
1
1
2
2
3
3
4
4
5
5
mutian@mutian:~/test$ sed -n "p" file
1
2
3
4
5

sed 默认每读一行，将这行显示。另外还可能会显示处理的结果。

-n参数则是让读的这一行不显示。

 

3 sed命令形式

最好用单引号，不要用双引号

sed [options] 'command' file(s)
sed [options] -f scriptfile file(s)   //add the contents of script-file to the commands to be executed

删除
删除第2～5行------------------
sed  '2,5'd  file1 > file2
sed  '2,5d'  file1 > file2
单引号可以换成双引号，其它形式类推
sed  “2,5”d  file1 > file2
sed  “2,5d”  file1 > file2
--------------
如果不使用重定向输出，则直接输出到屏幕上
$ sed "2,5"d  file
#include <stdio.h>
  //sdfdsfds
  //845789745
  //12377777

}
//end

mutian@mutian:~/test$ cat file 
123
2
3
456
5
678
7
8
9
mutian@mutian:~/test$ 
mutian@mutian:~/test$  sed  ‘/123/,/456/d‘ file
5
678
7
8
9
mutian@mutian:~/test$ 
mutian@mutian:~/test$ sed  ‘/123/,/456/p‘ file
123
123
2
2
3
3
456
456
5
678
7
8
9
mutian@mutian:~/test$ 
mutian@mutian:~/test$ 
mutian@mutian:~/test$ sed  -n ‘/123/,/456/p‘ file
123
2
3
456

-----------------------------
删除某行
$ sed  '5'd  file1 > file2
$ sed  '$'d  file1 > file2     //删除最后一行
$ sed  '3,$'d  file1 > file2   //删除第3行至文件结尾的内容
$ sed  '3,$d'  file1 > file2   //删除第3行至文件结尾的内容，作用同上

替换----------------------------------------

$ sed '/123/'d file1 > file2    //删除文件中含有123的行
$ sed 's/test/mytest/g' file1 > file2   //在整行范围内把test替换为mytest。如果没有g标记，则只有每行第一个匹配的test被替换成mytest。
$ sed "s/^abc/test/" file1 > file2      //替换以abc开头的字符串，将abc换成test. Note: "  abc" 这种情况是不算的，它是以空格开头
$ sed -n 's/^test/mytest/p' example  //(-n)选项和p标志一起使用表示只打印那些发生替换的行。也就是说，如果某一行开头的test被替换成mytest，就打印它。
$ sed "s/abc/test/" file1 > file2  //只替换第一个匹配的项
$ sed "s/abc/test/g" file1 > file2  //替换行中每个匹配的项
匹配--------------------------------------------------
正则表达式元字符

 与grep一样，sed也支持特殊元字符，来进行模式查找、替换。不同的是，sed使用的正则表达式是括在斜杠线"/"之间的模式。

如果要把正则表达式分隔符"/"改为另一个字符，比如o，只要在这个字符前加一个反斜线，在字符后跟上正则表达式，再跟上这个字符即可。例如：sed -n '\o^Myop' datafile

 

元字符	功能	示例
^	行首定位符	/^my/  匹配所有以my开头的行
$	行尾定位符	/my$/  匹配所有以my结尾的行
.	匹配除换行符以外的单个字符	/m..y/  匹配包含字母m，后跟两个任意字符，再跟字母y的行
*	匹配零个或多个前导字符	/my*/  匹配包含字母m,后跟零个或多个y字母的行
[]	匹配指定字符组内的任一字符	/[Mm]y/  匹配包含My或my的行
[^]	匹配不在指定字符组内的任一字符	/[^Mm]y/  匹配包含y，但y之前的那个字符不是M或m的行
\(..\)	保存已匹配的字符	1,20s/\(you\)self/\1r/  标记元字符之间的模式，并将其保存为标签1，之后可以使用\1来引用它。最多可以定义9个标签，从左边开始编号，最左边的是第一个。此例中，对第1到第 20行进行处理，you被保存为标签1，如果发现youself，则替换为your。
&	保存查找串以便在替换串中引用	s/my/**&**/  符号&代表查找串。my将被替换为**my**
\<	词首定位符	/\<my/  匹配包含以my开头的单词的行
\>	词尾定位符	/my\>/  匹配包含以my结尾的单词的行
x\{m\}	连续m个x	/9\{5\}/ 匹配包含连续5个9的行
x\{m,\}	至少m个x	/9\{5,\}/  匹配包含至少连续5个9的行
x\{m,n\}	至少m个，但不超过n个x	/9\{5,7\}/  匹配包含连续5到7个9的行

 -------------------------------------------------------------------

$sed  's/\<abc/xy/' test   //将首词为abc的单词换成xy

 

s命令
sed 's/^My/You/g' datafile
#命令末端的g表示在行内进行全局替换，也就是说如果某行出现多个My，所有的My都被替换为You。
sed -n '1,20s/My$/You/gp' datafile
#取消默认输出，处理1到20行里匹配以My结尾的行，把行内所有的My替换为You，并打印到屏幕上。

-e是编辑命令，用于sed执行多个编辑任务的情况下。在下一行开始编辑前，所有的编辑动作将应用到模式缓冲区中的行上。
$sed -e '1,3d' -e 's/My/Your/g' datafile
#选项-e用于进行多重编辑。第一重编辑删除第1-3行。第二重编辑将出现的所有My替换为Your。因为是逐行进行这两项编辑（即这两个命令都在模式空间的当前行上执行），所以编辑命令的顺序会影响结果。

r命令是读命令。sed使用该命令将一个文本文件中的内容加到当前文件的特定位置上。
sed '/My/r introduce.txt' datafile
#如果在文件datafile的某一行匹配到模式My，就在该行后读入文件introduce.txt的内容。如果出现My的行不止一行，则在出现My的各行后都读入introduce.txt文件的内容。

mutian@mutian:~/test$ cat x
xxx
mutian@mutian:~/test$ cat file 
123
2
3
456
5
678
7
8
9
mutian@mutian:~/test$ sed '/12/r x' file 
123
xxx
2
3
456
5
678
7
8
9

y命令:该命令与UNIX/Linux中的tr命令类似，字符按照一对一的方式从左到右进行转换。例如，y/abc/ABC/将把所有小写的a转换成A，小写的b转换成B，小写的c转换成C。
 sed '1,20y/hrwang12/HRWANG^$/' datafile
#将1到20行内，所有的小写hrwang转换成大写，将1转换成^,将2转换成$。
#正则表达式元字符对y命令不起作用。与s命令的分隔符一样，斜线可以被替换成其它的字符。

mutian@mutian:~/test$ cat file 
123
2
3
456
5
678
7
8
9
mutian@mutian:~/test$ sed '2,5s/^/xy/' file 
123
xy2
xy3
xy456
xy5
678
7
8
9
mutian@mutian:~/test$ sed '2,5ixy' file
123
xy
2
xy
3
xy
456
xy
5
678
7
8
9

---------------------------------------------------------------------------------

sed '1,4s/^/xy/' file1 > file2   //将文件的1～4行前插入xy

sed "1,3ixy" test     //将文件第1～3行，每行上面插入新的一行，内容为xy

peisl1117@njbuild05:~/temp$ grep -n "" test
1:abc
2:def
3:   abcdfe123ab123a
4:dek
5:123abc
6:defabcabcsd
7:ksdfjkabc
8:
peisl1117@njbuild05:~/temp$ 
peisl1117@njbuild05:~/temp$ grep -n "" script 
1:#handle datafile
2:3i\
3:~~~~~~~~~~~~~~~~~~~~
4:2,4s/123/xy/
5:$a\
6:We will love eachother forever！！
peisl1117@njbuild05:~/temp$ 
peisl1117@njbuild05:~/temp$ sed -f script test |grep -n "" 
1:abc
2:def
3:~~~~~~~~~~~~~~~~~~~~
4:   abcdfexyab123a
5:dek
6:123abc
7:defabcabcsd
8:ksdfjkabc
9:
10:We will love eachother forever！！

 sed -n '1,20s/My$/You/gp' datafile
#取消默认输出，处理1到20行里匹配以My结尾的行，把行内所有的My替换为You，并打印到屏幕上。

------------------------------------------------------------------------

-n, --quiet, --silent   suppress automatic printing of pattern space

抑制模式空间的自动输出。即取消默认输出。

$ cat tt
1 a
2 b
3 ca
4 d
$ sed '/a/p' tt
1 a
1 a
2 b
3 ca
3 ca
4 d
$ sed -n '/a/p' tt
1 a
3 ca
---------------------------------------------------------------

 

[root@www ~]# sed [-nefr] [动作]
选项与参数：
-n ：使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN 的数据一般都会被列出到终端上。但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。多与p命令配合使用
-e ：直接在命令列模式上进行 sed 的动作编辑；
-f ：直接将 sed 的动作写在一个文件内， -f filename 则可以运行 filename 内的 sed 动作；
-r ：sed 的动作支持的是延伸型正规表示法的语法。(默认是基础正规表示法语法)
-i ：直接修改读取的文件内容，而不是输出到终端。

动作说明： [n1[,n2]]function
n1, n2 ：不见得会存在，一般代表『选择进行动作的行数』，举例来说，如果我的动作是需要在 10 到 20 行之间进行的，则『 10,20[动作行为] 』

function：
a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
c ：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
d ：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
i ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
p ：列印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～
s ：取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正规表示法！例如 1,20s/old/new/g 就是啦！