12-2 ubuntu常用命令（sed）

一、sed

1. sed简介

sed是一种非交互式的流编辑器，可动态编辑文件。所谓非交互式是说，sed和传统的文本编辑器不同，并非和使用者直接互动，sed处理的对象是文件的数据流（称为stream/流）。sed的工作模式是，比对每一数据行，若符合样式，就执行指定的操作。

sed --version       #查看sed版本

 2. sed语法

sed [选项] '操作命令' 文件

sed并不会更改文件内容。sed的工作方式是读取文件内容，经流编辑之后，把结果显示到标准输出。因此，如果想要存储sed的处理结果，得自行运用转向输出将结果存成其他文件。

（1）选项

-n ：使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN 的数据一般都会被列出到终端上。但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行(或者动作)才会被列出来

-e ：直接在命令列模式上进行 sed 的动作编辑

-f ：直接将 sed 的动作写在一个文件内， -f filename 则可以运行 filename 内的 sed 动作

-r ：sed 的动作支持的是延伸型正规表示法的语法。(默认是基础正规表示法语法)

-i ：直接修改读取的文件内容，而不是输出到终端。

 

动作说明： [n1[,n2]] 动作：

n1, n2 ：不一定存在，一般代表选择进行动作的行数，比如，如果我的动作是需要在 10 到 20 行之间进行的，则10,20[动作行为]

（2）操作命令

每条命令包含两部分：

• 对行的定位：
• 通过行号定位
• 通过行内的关键字定位
• 在定位出的行执行什么样的操作

d：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；

a：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)；

c：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行；

p：列印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行；

s：替换，可以直接进行取代的工作。通常这个 s 的动作可以搭配正规表示法；

i：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)

3. 示例

sed '2d' z.txt                    # 删除第2行，剩下的显示出来
sed '1,3d' z.txt                  # 删除1-3行，剩下的显示出来
sed '1d;3d;5d' z.txt              # 删除第1行、第3行、第5行，剩下的显示出来
sed '/better/d' z.txt             # 删除含有 'better'的行，剩下的显示出来。即用关键字定位待处理行
sed '/implicit/,/Errors/d' z.txt  # 删除'implicit'所在行(第2行)、'Errors'所在行（第10行）及两行中间的所有行
sed '2,/Errors/d' z.txt           # 等价于上面一行
sed '2,+5d' z.txt                 # 删除第2行后，再往后删5行
sed '1~3d' z.txt                  # 删除第1行、第4行、第7行...
sed  "/dd\|cc/d"                  # 删除有dd或者cc的行,\为转义符

sed -n '3p' z.txt                 # 只打印第3行
sed -n '3,5p' z.txt               # 打印3-5行
sed -n '3,+5p' z.txt              # 打印出第3行后，再往后打印5行

sed '3'a'ssssss' z.txt            # 在第3行后面增加字符串'ssssss'
sed '3'c'ssssss' z.txt            # 将第3行替代为字符串'ssssss'
sed '3'i'ssssss' z.txt            # 在当前行的上一行插入字符串串'ssssss'


sed 's/better/BETTER/' z.txt      # 将每各含有better字符行的第1个better字符，替换为BETTER字符

 

二、awk

 一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。

# 命令行调用方式
awk [-F  field-separator]  'commands'  input-file(s)

#  commands 是真正awk命令，[-F域分隔符]是可选的。 input-file(s) 是待处理的文件。    在awk中，文件的每一行中，由域分隔符分开的每一项称为一个域。通常，在不指名-F域分隔符的情况下，默认的域分隔符是空格。

# awk工作流程：
# 读入有'\n'换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域,$1表示第一个域,$n表示第n个域。默认域分隔符是"空白键" 或 "[tab]键",所以$1表示登录用户，$3表示登录用户ip,以此类推。

cat /etc/passwd |awk  -F ':'  '{print $1}'  
cat /etc/passwd |awk  -F ':'  '{print $1"\t"$7}'

awk 常用内置变量
ARGC               命令行参数个数
ARGV               命令行参数排列， ARGV[0] ARGV[1]
ENVIRON            支持队列中系统环境变量的使用
FILENAME           awk浏览的文件名
FNR                浏览文件的记录数
FS                 设置输入域分隔符，等价于命令行 -F选项
NF                 浏览记录的域的个数
NR                 已读的记录数
OFS                输出域分隔符
ORS                输出记录分隔符
RS                 控制记录分隔符

# 统计/etc/passwd:文件名，每行的行号，每行的列数，对应的完整行内容:
#awk  -F ':'  '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd

# 使用printf替代print,可以让代码更加简洁，易读
awk  -F ':'  '{printf("filename:%10s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME,NR,NF,$0)}' /etc/passwd