shell三剑客介绍及实例

Linux三剑客指的是grep、sed、awk，配合正则表达式使用就非常强大，笔者个人感觉会使用普通的场景就足够工作中适用了，其中grep擅长查找功能，sed擅长取行和替换。awk擅长取列，笔者分别针对这些功能列举语法以及实际案例。新手入门，如有问题，欢迎指正 ~

最开始，先介绍一下管道的概念，| 这个竖线就是管道的意思，后文中会持续用到该符号，作用就是将前一个命令的输入输送给 | 后面的命令，可以进行多重管道，例如：

一、grep

　　grep作用是筛选，查询

　　1. 语法规则

　　Usage: grep [选项]... 匹配项 [文件]...

　　支持的正则描述

　　-E，--extended-regexp 模式是扩展正则表达式（ERE）

　　-e，--regexp=PATTERN 使用模式匹配，可指定多个模式匹

　　-f，--file=FILE 从文件每一行获取匹配模式

　　-i，--ignore-case 忽略大小写

　　-w，--word-regexp 模式匹配整个单词

　　-x，--line-regexp 模式匹配整行

　　输出控制描述

　　-m，--max-count=NUM 输出匹配的结果 num 数

　　-n，--line-number 打印行号

　　-H，--with-filename 打印每个匹配的文件名

　　-h，--no-filename 不输出文件名

　　-o，--only-matching 只打印匹配的内容

　　-q，--quiet 不输出正常信息

　　-s, --no-messages 不输出错误信息

　　-r，--recursive 递归目录

　　-c，--count 只打印每个文件匹配的行数

　　--include=FILE_PATTERN 只检索匹配的文件

　　--exclude=FILE_PATTERN 跳过匹配的文件

　　--exclude-from=FILE 跳过匹配的文件，来自文件模式

　　--exclude-dir=PATTERN 跳过匹配的目录

　　-v，--invert-match 打印不匹配的行

　　内容行控制描述
　　-B，--before-context=NUM 打印匹配的前几行

　　-A，--after-context=NUM 打印匹配的后几行

　　-C，--context=NUM 打印匹配的前后几行

　　--color[=WHEN], 匹配的字体颜色

　 2. 案例

　　# 很常用的使用 grep 筛选目前服务器使用的java tomcat nginx进程

　　# 查询日志关键词 -e 达标多个条件

　　# 输出查询内容后5行的日志

　　# 通过正则来筛选结果

　　 # 查询以 ACTIVITY 开头的日志

　　 # 查询所有出现的时间　　

　　 # 查询出所有符合条件的IP地址

二、sed

　　sed作用是过滤和替换文本。

　　1. 语法规则　

　　sed [选项] '地址命令' file　

　　选项描述
　　-n 不打印模式空间
　　-e 执行脚本、表达式来处理
　　-f 执行动作从文件读取执行
　　-i 修改原文件
　　-r 使用扩展正则表达式

　　地址描述
　　first~step 步长，每 step 行，从第 first 开始
　　$ 匹配最后一行
　　/regexp/ 正则表达式匹配行
　　number 只匹配指定行
　　addr1,addr2 开始匹配 addr1 行开始，直接 addr2 行结束
　　addr1,+N 从 addr1 行开始，向后的 N 行
　　addr1,~N 从 addr1 行开始，到 N 行结束

　　命令描述
　　s/要替换的内容/替换成的内容/ 替换字符串
　　p 打印当前模式空间
　　P 打印模式空间的第一行
　　d 删除模式空间，开始下一个循环
　　D 删除模式空间的第一行，开始下一个循环
　　= 打印当前行号

　　2. 案例

　　# 替换输入内容（其中不以g结尾是替换每行中的第一个"11"，否则就是替换所有的"11"）