Shell常用命令

Shell常用命令

shell字符

!:                执行历史命令   
!!：                执行上一条命令
$:                变量中取内容符
+ - * / %:        对应数学运算  加 减 乘 除 取余数  
&:                后台执行
;：               分号可以在shell中一行执行多个命令，命令之间用分号分割    
\:                转义字符
``:               反引号 命令中执行命令    echo "today is `date +%F`"
' ':              单引号，脚本中字符串要用单引号引起来，但是不同于双引号的是，单引号不解释变量
" ":              双引号，脚本中出现的字符串可以用双引号引起来

通配符    
~:                家目录    # cd ~ 代表进入用户家目录
*:                星号是shell中的通配符  匹配所有
?:                问号是shell中的通配符  匹配除回车以外的一个字符
[list]: 匹配[list]中的任意单个字符
[!list]: 匹配除list中的任意单个字符
{string1,string2,...}： 匹配string1,string2或更多字符串

重定向
>      覆盖输入 
>> 追加输入
< 输出
<< 追加输出

管道命令
|：               管道符 上一个命令的输出作为下一个命令的输入   cat filename | grep "abc"

数据检索命令

     行检索：grep  egrep

     字符串检索:cut  tr

数据处理命令

数据排序：sort

数据去重: uniq

文本数据合并: paste

数据输出: tee

数据处理: xargs    

1. grep: 负责从数据源中检索对应的字符串，行过滤。

 grep -i root passwd      #忽略大小写匹配包含root的行
 grep -w ftp passwd       #精确匹配ftp单词
 grep -wo ftp passwd      #打印匹配到的关键字ftp
 grep -n root passwd      #打印匹配到root关键字的行好
 grep -ni root passwd      #忽略大小写匹配统计包含关键字root的行
 grep -nic root passwd      #忽略大小写匹配统计包含关键字root的行数
 grep -i ^root passwd       #忽略大小写匹配以root开头的行
 grep bash$ passwd          #匹配以bash结尾的行
 grep -n ^$ passwd          #匹配空行并打印行号
 grep ^# /etc/vsftpd/vsftpd.conf      #匹配以#号开头的行
 grep -v ^# /etc/vsftpd/vsftpd.conf     #匹配不以#号开头的行
 grep -A 5 mail passwd                   #匹配包含mail关键字及其后5行
 grep -B 5 mail passwd                    #匹配包含mail关键字及其前5行
 grep -C 5 mail passwd                   #匹配包含mail关键字及其前后5行

2. cut数据截取

语法：

cut用于列截取

• -c: 以字符为单位进行分割。
• -d: 自定义分隔符，默认为制表符。\t
• -f: 与-d一起使用，指定显示哪个区域。

 cut -d: -f1 1.txt      #以:冒号分割，截取第1列内容
 cut -d: -f1,6,7 1.txt #以:冒号分割，截取第1,6,7列内容
 cut -c4 1.txt        # 截取文件中每行第4个字符
 cut -c1-4 1.txt      #截取文件中每行的1-4个字符
 cut -c4-10 1.txt
 cut -c5- 1.txt       #从第5个字符开始截取后面所有字符

3. tr 字符转换：替换，删除

  tr用来从标准输入中通过替换或删除操作进行字符转换；主要用于删除文件中控制字符或进行字符转换。使用tr时要转换两个字符串：字符串1用于查询，字符串2用于处理各种转换
语法：

• -d 删除字符串1中所有输入字符。
• -s 删除所有重复出现字符序列，只保留第一个；即将重复出现字符串压缩为一个字符串。

• a-z 任意小写
• A-Z 任意大写
• 0-9 任意数字

 tr -d '[:/]' < 3.txt       #删除文件中的:和/
 cat 1.txt |tr -d '[:/]'    #删除文件中的:和/
 tr '[0-9]' '@' < 3.txt      #将文件中的数字替换为@符号
 tr '[a-z]' '[A-Z]' < 3.txt #将文件中的小写字母替换成大写字母
 tr -s '[a-z]' < 3.txt      # 匹配小写字母并将重复的压缩为一个
 tr -s '[a-z0-9]' < 3.txt   #匹配小写字母和数字并将重复的压缩为一个

4.sort排序

  sort：将文件的每一行作为一个单位，从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出。
语法：

sort [options] [filename]

• -u ：去除重复行
• -r ：降序排列，默认是升序
• -o : 将排序结果输出到文件中 类似 重定向符号 >
• -n ：以数字排序，默认是按字符排序
• -t ：分隔符
• -k ：第N列
• -b ：忽略前导空格。
• -R ：随机排序，每次运行的结果均不同。

 sort -n -t: -k3 1.txt     #按照用户的uid进行升序排列
 sort -nr -t: -k3 1.txt     #按照用户的uid进行降序排列
 sort -n 2.txt      #按照数字排序
 sort -nu 2.txt     #按照数字排序并且去重
 sort -nr 2.txt 
 sort -nru 2.txt 
 sort -nru 2.txt 
 sort -n 2.txt -o 3.txt     #按照数字排序并将结果重定向到文件
 sort -R 2.txt 
 sort -u 2.txt 

5.uniq 去除连续的重复行

应用技巧：去重前先使用sort排序

语法：

uniq [options] [filename]

• -i: 忽略大小写
• -c: 统计重复行次数
• -d:只显示重复行

 uniq 2.txt
 uniq -d 2.txt
 uniq -dc 2.txt 

6. tee 双向输出

  tee工具从标准输入读取并写入标准输出和文件，即：双向覆盖重定向<屏幕输出|文本输入>

somecommand |tee filename

• -a 双向追加重定向

 echo hello world
 echo hello world|tee file1
 cat file1
 echo 999|tee -a file1
 cat file1 

7. paste

  paste工具用于合并文件行输出到屏幕，不会改动源文件

• -d：自定义间隔符，默认是tab,只接受一个字符
• -s：将每个文件中的所有内容按照一行输出，文件中的行与行以TAB间隔。

[root@zutuanxue shell01]# cat a.txt 
hello
[root@zutuanxue  shell01]# cat b.txt 
hello world
888
999
[root@zutuanxue  shell01]# paste a.txt b.txt 
hello   hello world
        888
        999
[root@zutuanxue  shell01]# paste b.txt a.txt   
hello world     hello
888
999

[root@zutuanxue shell01]# paste -d'@' b.txt a.txt 
hello world@hello
888@
999@

[root@zutuanxue shell01]# paste -s b.txt a.txt 
hello world     888     999
hello

8.xargs 上一个命令的输出作为下一个命令的命令行参数

OPTIONS:

• -a file 从文件中读入作为sdtin
• -E flag flag必须是一个以空格分隔的标志，当xargs分析到含有flag这个标志的时候就停止。
• -p 当每次执行一个argument的时候询问一次用户。
• -n num 后面加次数，表示命令在执行的时候一次用的argument的个数，默认是用所有的。
• -t 表示先打印命令，然后再执行。
• -i 或者是-I，这得看linux支持了，将xargs的每项名称，一般是一行一行赋值给 {}，可以用 {} 代替。
• -r no-run-if-empty 当xargs的输入为空的时候则停止xargs，不用再去执行了。
• -d delim 分隔符，默认的xargs分隔符是回车，argument的分隔符是空格，这里修改的是xargs的分隔符。

[root@localhost ~]# cat 2.txt
1
2
3
4
5
6
7
8
9
10
[root@localhost ~]# xargs -a 2.txt
1 2 3 4 5 6 7 8 9 10
[root@localhost ~]# xargs -a 2.txt -p
echo 1 2 3 4 5 6 7 8 9 10 ?...y
1 2 3 4 5 6 7 8 9 10
[root@localhost ~]# xargs -a 2.txt -n3
1 2 3
4 5 6
7 8 9
10
[root@localhost ~]# xargs -a 2.txt  -E5
1 2 3 4
[root@localhost ~]# xargs -a 2.txt -d '@'
1
2
3
4
5
6
7
8
9
10

[root@localhost ~]#