shell文本处理工具总结
shell文本处理工具总结
为了效率，应该熟练的掌握自动化处理相关的知识和技能，能力就表现在做同样的一件事情，可以做的很好的同时，耗时还很短。
再次总结shell文本处理的相关规则，对提高软件调试效率，加快数据处理分析都很有帮助。
Shell常用的文本处理工具，主要是4种：sed，grep，gawk，正则表达式。
1. sed
这是一种流式编辑器，区别于普通的交互式编辑器的地方是在处理文本前，需要提前设定好一组规则，它会每次读取一行，按照规则匹配输出，循环往复，直到处理完毕为止；
命令格式为： sed options script file,
具体如下： sed [-Ealn] command [file ...] sed [-Ealn] [-e command] [-f command_file] [-i extension] [file ...]
常用的处理命令有：
sed -e 'cmd1; cmd2; cmd3 ... ;cmdn' file ， 连续执行多个命令；
sed -n， 不要自动为每个命令生成输出；
sed 's/a/b/' file, 将file里面的a换成b；
sed '/pattern/d' file, 将file里面匹配pattern的行删除；
sed '/pattern/{n;d}' file,将file里面匹配pattern的行找到，将其下一行删除；
sed '/pattern/{N; s/a/b/}' file, N选项会使得文本行仍然用换行符处理，但是会合并当成一行处理，所以这里的意思是将file里面匹配pattern的行找到，将下一行和在一起，将里面的a替换成b；
sed 'N; /pattern/D' file, 将file里面两行一起的处理，匹配到pattern后，将前面的一行删除，D也是一个多行处理选项;
sed 在shell脚本中使用多个命令，{ 和 }都单独各占一行； sed ‘1a \xxx’第一行后追加1行 sed ‘1i \xxx’第一行后插入1行 sed -n '^$/!p' 打印全部文件内容 sed -n '1,10p' 打印1-10行内容
2. grep
命令格式为：grep options pattern file
grep -r 递归目录查找
grep -n 打印行数
grep -i 忽略大小写
grep -v 反向匹配查找
grep -F -f 可以用来处理获得两个文件的交集，或者差集；
3. gawk
gawk是awk的gnu版本，该工具让流编辑器上了一层台阶，可以提供一个类编程的环境，而不再仅仅是一个命令行工具。
命令格式为： gawk options program file，
gawk会从标准输入等待数据的输入，program用一对花括号来定义； 数据字段变量，$0表示整个文本行，$n表示第n个数据段 一些重要的内建变量：FILEDWIDTH, FS,RS,OFS,ORS； BEGIN表示处理前运行的操作， END表示处理结束后运行的操作； 支持if，while，do-while等函数定义；
4. sort
sort -k 指定排序的栏；
sort -r 反转排序，数字默认的是由小到大；
sort -n 指定按照数字排序；
5. 正则表达式
在shell中熟练使用sed和awk的关键在于对正则表达式的运用，正则表达式，就是一套有用户定义的，用来过滤数据流的规则。
正则表达式的难点在于，linux环境下不同的应用程序可能有不同的正则表达式规则。
再次总结通用的两种类型： BRE（basic regular expression），基本上都支持这种规则， ERE（extend regular expression），扩展类型，部分应用程序支持（gawk可以，sed不行）；
BRE的规则主要有：
^ 行首
$ 行尾
. 任意字符，除了换行符
* 任意字符出现一次或者多次
[] 区间匹配
[^abc] 排除字符组
[[:alpha:]] 匹配字母，不区分大小写
[[:alnum:]] 匹配数字和字母，不区分大小写
[[:digit:]] 匹配数字
[[:blank:]] 匹配空格或者tab
[[:print:]] 匹配可打印字符
[[:punct:]] 匹配标点符号
[[:space:]] 匹配任意空白字符
[[:lower:]] 匹配小写
[[:upper:]] 匹配大写
ERE的规则主要有：
？前面的字符出现0次或者1次
+ 前面的字符出现1次或者多次
| 可以将两个过滤表达式按照或的关系连起来
{m} 前面的字符出现m次
{n,m} 前面的字符出现n-m次
() 将括号内部的匹配聚合成一个整体，当成一次标准字符使用；
