文本处理 . 三剑客sed . 定位

文本处理命令

sort

1、sort命令
	用于将文件内容加以排序（以行为单位来排序）
	
	-n	：依照数值的大小排序
	-r	：以相反的顺利来排序
	-k	：以某列进行排序
	-t	：指定分隔符，默认是以空位分隔符
	
[root@test-10.4 ~]# cat Ttnizi.txt 
Hello
dg
dfhtrjc
ghjcg
[root@test-10.4 ~]# cat Ttnizi.txt | sort
dfhtrjc
dg
ghjcg
Hello
[root@test-10.4 ~]# cat 1.txt | sort
470927
75
762
908
[root@test-10.4 ~]# cat 1.txt | sort -n
75
762
908
470927
[root@test-10.4 ~]# cat 1.txt | sort -r
908
762
75
470927
[root@test-10.4 ~]# cat 1.txt | sort -n -r
470927
908
762
75
[root@test-10.4 ~]# cat 1.txt | sort -n -r -k2
908
762
75
470927

uniq

用于检查及删除文本文件中重复出现的行列，一般与 sort 命令结合使用

    -c # 在每列旁边显示该行重复出现的次数。
    -d # 仅显示重复出现的行列。
    -u # 仅显示出一次的行列
    
[root@test-10.4 ~]# cat 2.txt 
157
157
158
157
158
[root@test-10.4 ~]# cat 2.txt | uniq
157
158
157
158
[root@test-10.4 ~]# cat 2.txt | sort | uniq
157
158
[root@test-10.4 ~]# cat 2.txt | sort | uniq -c
      3 157
      2 158
[root@test-10.4 ~]# cat 2.txt
157
157
158
157
158
151
[root@test-10.4 ~]# cat 2.txt | sort | uniq -u
151
[root@test-10.4 ~]# cat 2.txt | sort | uniq -d
157
158

cut

cut命令用来显示行中的指定部分，删除文件中指定字段

    -d # 指定字段的分隔符，默认的字段分隔符为"TAB"；
    -f # 显示指定字段的内容；
    
扩建知识：
	文件内空格替换成管道符
	末行模式:1,% s/ /|/g
	
	文件内用管道符隔开字符
	末行模式:1,% s/ */|/g
	
[root@test-10.4 ~]# cat 3.txt 
|1|5|7|9
|1|5|7|
|1|5|8|6
[root@test-10.4 ~]# cat 3.txt | cut -d '|' -f2
1
1
1
[root@test-10.4 ~]# cat 3.txt | cut -d '|' -f3
5
5
5

tr

替换或删除命令

    -d # 删除字符
    
[root@test-10.4 ~]# cat 2.txt 
157
158
157
158
[root@test-10.4 ~]# cat 2.txt | tr 157 555
555
558
555
558

wc

统计，计算数字

    -c # 统计文件的Bytes数；
    -l # 统计文件的行数；
    -w # 统计文件中单词的个数，默认以空白字符做为分隔符

注：在Linux系统中，一段连续的数字或字母组合为一个词。

[root@test-10.4 ~]# cat 4.txt 
012345 5
[root@test-10.4 ~]# cat 4.txt | wc -c
9
[root@test-10.4 ~]# cat 4.txt | wc -l
1
[root@test-10.4 ~]# cat 4.txt | wc -w
2

三剑客sed

sed是linux中，流媒体编辑器。

grep ： 过滤文本
sed  :  修改文本
awk  :  处理文本

1、sed的格式
	sed [参数] '处理规则' [操作对象]

2、参数
	-e ： 允许多项编辑
	-n :  取消默认输出
	-i :  就地编辑
	-r :  支持拓展正则
	-f :  指定sed匹配规则脚本文件

3、定位

	1、数字定位法
		指定行号。
		sed '3d' 2.txt 
		sed '2,3d' 2.txt 

	2、正则定位法
		指定正则定位。
		sed '/^g/d' 2.txt
		
	3、数字和正则定位法
		sed '3,/^g/d' 2.txt
	
	4、正则正则定位法
		sed '/^g/,/^j/d' 2.txt 
		
4、sed的编辑模式：
	d ：删除
	p ：打印
	a : 在当前行后添加一行或多行
		sed '2axxx' 4.txt 
	c ：用新文本修改（替换）当前行
		sed '2cxxx' 4.txt
	i : 在当前行之前，插入文本（单独使用时）
		sed '2ixxx' 4.txt
	r : 在文件中读内容
		sed '2r r.txt' 2.txt 
	w : 将指定行写入文件
		sed '2w w.txt' 2.txt 
	y : 将字符转换成另一个字符
		sed '2y/fa/FA/' 2.txt 

	s : 将字符串转换成另一个字符串（每一行只替换一次）
		sed 's/11/22/' 6.txt 
	g : 全部执行
		sed 's/11/22/g' 6.txt 
	i : 忽略大小写（跟 s 模式一起使用时）
	
	& ：代表前面匹配到的内容
	
[root@test-10.4 ~]# cat 2.txt 
157
157
158
157
158
[root@test-10.4 ~]# sed '3d' 2.txt 
157
157
157
158
[root@test-10.4 ~]# sed '2,3d' 2.txt 
157
158
157
158
[root@test-10.4 ~]# sed -e '3d' -e '5d' 2.txt 
157
157
157
[root@test-10.4 ~]# sed -e '3d' -e '5d' -n 2.txt
[root@test-10.4 ~]# sed '3p' 2.txt 
157
157
158
158
157
158
[root@test-10.4 ~]# sed -n '3p' 2.txt 
158
[root@test-10.4 ~]# sed -i '3p' 2.txt 
[root@test-10.4 ~]# cat 2.txt 
157
157
158
158
157
158
[root@test-10.4 ~]# sed -r '/157/d' 2.txt 
158
158
158
[root@test-10.4 ~]# touch r.txt
[root@test-10.4 ~]# vim r.txt	#(里面写/158/d ) 
[root@test-10.4 ~]# sed -f r.txt 2.txt 
157
157
157
[root@test-10.4 ~]# cat Ttnizi.txt 
Hello
dg
dfhtrjc
ghjcg
ougi
[root@test-10.4 ~]# sed '/g/d' Ttnizi.txt 
Hello
dfhtrjc
[root@test-10.4 ~]# sed '3,/^g/d' Ttnizi.txt 
Hello
dg
ougi
[root@test-10.4 ~]# sed '/^g/,/^j/d' Ttnizi.txt 
Hello
dg
dfhtrjc
[root@test-10.4 ~]# cat 2.txt 
157
157
158
158
157
158
[root@test-10.4 ~]# sed '2axxx' 2.txt 
157
157
xxx
158
158
157
158
[root@test-10.4 ~]# sed '2cxxx' 2.txt 
157
xxx
158
158
157
158
[root@test-10.4 ~]# sed '2ixxx' 2.txt 
157
xxx
157
158
158
157
158
[root@test-10.4 ~]# cat r.txt 
/158/d
[root@test-10.4 ~]# sed '2r r.txt' Ttnizi.txt 
Hello
dg
/158/d
dfhtrjc
ghjcg
ougi
[root@test-10.4 ~]# sed '2w w.txt' Ttnizi.txt 
Hello
dg
dfhtrjc
ghjcg
ougi
[root@test-10.4 ~]# ll	#(查看文件，会多了 w.txt 一个文件)
-rw-r--r--  1 root root        3 Dec 21 21:56 w.txt
[root@test-10.4 ~]# cat w.txt 
dg
[root@test-10.4 ~]# cat Ttnizi.txt 
Hello
dg
dfhtrjc
ghjcg
ougi
[root@test-10.4 ~]# sed '2y/d/D/' Ttnizi.txt 
Hello
Dg
dfhtrjc
ghjcg
ougi
[root@test-10.4 ~]# cat 5.txt 
1
2s2
3
4
[root@test-10.4 ~]# sed 's/2/8/' 5.txt 
1
8s2
3
4
[root@test-10.4 ~]# sed 's/2/8/g' 5.txt 
1
8s8
3
4
[root@test-10.4 ~]# sed 's/D/abc/gi' Ttnizi.txt  
Hello
abcg
abcfhtrjc
ghjcg
ougi