linux常用命令

1. grep

   grep [-acinv] [--color=auto] '搜寻字符串' filename
   选项与参数：
   -a ：将 binary 文件以 text 文件的方式搜寻数据
   -c ：计算找到 '搜寻字符串' 的次数
   -i ：忽略大小写的不同，所以大小写视为相同
   -n ：顺便输出行号
   -v ：反向选择，亦即显示出没有 '搜寻字符串' 内容的那一行！
   --color=auto ：可以将找到的关键词部分加上颜色的显示喔！

2. sed

   sed命令格式
   sed [options] 'command' file(s)
   sed [options] -f scriptfile file(s)
   删除行
   nl /etc/passwd | sed '2,5d' 删除2-5行
   nl /etc/passwd | sed '2d' 删除第2行
   nl /etc/passwd | sed '3,$d' 删除第3行到最后一行
   添加行
   nl /etc/passwd | sed '2a drink tea' 在第二行后面加上
   nl /etc/passwd | sed '2i dirnk tea' 在第二行前面加上
   替换行
   nl /etc/passwd | sed '2,5c No 2-5 number' 将2-5行用No 2-5 number 替换
   数据搜寻并删除
   nl /etc/passwd | sed '/root/d' 搜寻root并删除
   数据搜寻并替换
   sed 's/要被取代的字串/新的字串/g'

   去掉 “行首” 带“@”的首字母@
   sed -i 's/^@//' file
   特定字符串的行前插入新行
   sed -i '/特定字符串/i 新行字符串' file
   特定字符串的行后插入新行
   sed -i '/特定字符串/a 新行字符串' file
   特定字符串的删除
   sed -i '/字符串/d' file

   显示指定行
   sed -n '2p' file
   显示指定行到行
   sed -n '2,8p' file

3. awk

   awk '{pattern+action}' {filenames} pattern 表示 AWK 在数据中查找的内容，而 action 是在找到匹配内容时所执行的一系列命令。花括号（{}）不需要在程序中始
   终出现，但它们用于根据特定的模式对一系列指令进行分组。 pattern就是要表示的正则表达式，用斜杠括起来。

   awk调用方式
   一、命令行方式：
   awk [-F field-separator] 'commands' input-file(s)
   二、shell脚本方式
   #！/bin/awk
   三、将所有的awk命令插入一个单独文件，然后调用
   awk -f awk-script-file input-file(s)

   显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以逗号分割,而且在所有行添加列名name,shell,在最后一行添 加"blue,/bin/nosh"
   cat /etc/passwd |awk -F ':' 'BEGIN {print "name,shell"} {print $1","$7} END {print "blue,/bin/nosh"}'

   统计/etc/passwd的账户人数
   awk '{count++;print $0;} END{print "user count is ",count}' /etc/passwd

   统计某个文件夹下的文件占用的字节数
   ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ",size/1024/1024,"M" }'

   AWK内置变量
   ARGC 命令行参数个数
   ARGV 命令行参数排列
   ENVIRON 支持队列中系统环境变量的使用
   FILENAME awk浏览的文件名
   FNR 浏览文件的记录数
   FS 设置输入域分隔符，等价于命令行 -F选项
   NF 浏览记录的域的个数
   NR 已读的记录数
   OFS 输出域分隔符
   ORS 输出记录分隔符
   RS 控制记录分隔符

4. du

   读取文件大小
   du -h /filename/
   只显示总和的大小
   du -s /filename/

5. scp

   复制文件
   scp local_file remote_username@remote_ip:remote_folder
   or
   scp local_file remote_usename@remote_ip:remote_file
   or
   scp local_file remote_ip:remote_folder
   or
   scp local_file remote_ip:remote_file

   复制目录
   scp -r /local_folder remote_username@remote_ip:remote_folder
   or
   scp -r local_folder remote_ip:remote_folder

6. route
    添加网关/设置网关：

   route add -net 224.0.0.0 netmask 240.0.0.0 dev eth0      #增加一条到达244.0.0.0的路由。
   屏蔽一条路由：

   route add -net 224.0.0.0 netmask 240.0.0.0 reject    #增加一条屏蔽的路由，目的地址为224.x.x.x将被拒绝。

   删除路由记录：

   route del -net 224.0.0.0 netmask 240.0.0.0
   route del -net 224.0.0.0 netmask 240.0.0.0 reject

   删除和添加设置默认网关：

   route del default gw 192.168.1.1
   route add default gw 192.168.1.1

7. vmstat

   -a：显示活跃和非活跃内存

   -f：显示从系统启动至今的fork数量 。

   -m：显示slabinfo

   -n：只在开始时显示一次各字段名称。

   -s：显示内存相关统计信息及多种系统活动数量。

   delay：刷新时间间隔。如果不指定，只显示一条结果。

   count：刷新次数。如果不指定刷新次数，但指定了刷新时间间隔，这时刷新次数为无穷。

   -d：显示磁盘相关统计信息。

   -p：显示指定磁盘分区统计信息

   -S：使用指定单位显示。参数有 k 、K 、m 、M ，分别代表1000、1024、1000000、1048576字节（byte）。默认单位为K（1024 bytes）

   -V：显示vmstat版本信息。

   字段说明

   r 表示运行队列(就是说多少个进程真的分配到CPU)，我测试的服务器目前CPU比较空闲，没什么程序在跑，当这个值超过了CPU数目，就会出现CPU瓶颈了。这个也和top的负载有关系，一般负载超过了3就比较高，超过了5就高，超过了10就不正常了，
   服务器的状态很危险。top的负载类似每秒的运行队列。如果运行队列过大，表示你的CPU很繁忙，一般会造成CPU使用率很高。

   b 表示阻塞的进程,这个不多说，进程阻塞，大家懂的。

   swpd 虚拟内存已使用的大小，如果大于0，表示你的机器物理内存不足了，如果不是程序内存泄露的原因，那么你该升级内存了或者把耗内存的任务迁移到其他机器。

   free 空闲的物理内存的大小，我的机器内存总共8G，剩余3415M。

   buff Linux/Unix系统是用来存储，目录里面有什么内容，权限等的缓存，我本机大概占用300多M

   cache cache直接用来记忆我们打开的文件,给文件做缓冲，我本机大概占用300多M(这里是Linux/Unix的聪明之处，把空闲的物理内存的一部分拿来做文件和目录的缓存，是为了提高 程序执行的性能，当程序使用内存时，buffer/cached会很快地被使用。)

   si 每秒从磁盘读入虚拟内存的大小，如果这个值大于0，表示物理内存不够用或者内存泄露了，要查找耗内存进程解决掉。我的机器内存充裕，一切正常。

   so 每秒虚拟内存写入磁盘的大小，如果这个值大于0，同上。

   bi 块设备每秒接收的块数量，这里的块设备是指系统上所有的磁盘和其他块设备，默认块大小是1024byte，我本机上没什么IO操作，所以一直是0，但是我曾在处理拷贝大量数据(2-3T)的机器上看过可以达到140000/s，磁盘写入速度差不多140M每秒

   bo 块设备每秒发送的块数量，例如我们读取文件，bo就要大于0。bi和bo一般都要接近0，不然就是IO过于频繁，需要调整。

   in 每秒CPU的中断次数，包括时间中断

   cs 每秒上下文切换次数，例如我们调用系统函数，就要进行上下文切换，线程的切换，也要进程上下文切换，这个值要越小越好，太大了，要考虑调低线程或者进程的数目,例如在apache和nginx这种web服务器中，我们一般做性能测试时会进行几千并发甚至几万并
   发的测试，选择web服务器的进程可以由进程或者线程的峰值一直下调，压测，直到cs到一个比较小的值，这个进程和线程数就是比较合适的值了。系统调用也是，每次调用系统函数，我们的代码就会进入内核空间，导致上下文切换，这个是很耗资源，也要尽量
   避免频繁调用系统函数。上下文切换次数过多表示你的CPU大部分浪费在上下文切换，导致CPU干正经事的时间少了，CPU没有充分利用，是不可取的。

   us 用户CPU时间，我曾经在一个做加密解密很频繁的服务器上，可以看到us接近100,r运行队列达到80(机器在做压力测试，性能表现不佳)。

   sy 系统CPU时间，如果太高，表示系统调用时间长，例如是IO操作频繁。

   id 空闲 CPU时间，一般来说，id + us + sy = 100,一般我认为id是空闲CPU使用率，us是用户CPU使用率，sy是系统CPU使用率。

   wt 等待IO CPU时间

8. mpstat

   mpstat [-P {|ALL}] [internal [count]]

   参数 解释
   -P {|ALL} 表示监控哪个CPU， cpu在[0,cpu个数-1]中取值
   internal 相邻的两次采样的间隔时间、

   count 采样的次数，count只能和delay一起使用

   当没有参数时，mpstat则显示系统启动以后所有信息的平均值。有interval时，第一行的信息自系统启动以来的平均信息。从第二行开始，
   输出为前一个interval时间段的平均信息。

   字段说明

   %user 在internal时间段里，用户态的CPU时间(%)，不包含nice值为负进程 (usr/total)*100

   %nice 在internal时间段里，nice值为负进程的CPU时间(%) (nice/total)*100

   %sys 在internal时间段里，内核时间(%) (system/total)*100

   %iowait 在internal时间段里，硬盘IO等待时间(%) (iowait/total)*100

   %irq 在internal时间段里，硬中断时间(%) (irq/total)*100

   %soft 在internal时间段里，软中断时间(%) (softirq/total)*100

   %idle 在internal时间段里，CPU除去等待磁盘IO操作外的因为任何原因而空闲的时间闲置时间(%) (idle/total)*100

9. ps

   -A 显示所有进程（等价于-e）(utility)
   -a 显示一个终端的所有进程，除了会话引线
   -N 忽略选择。
   -d 显示所有进程，但省略所有的会话引线(utility)
   -x 显示没有控制终端的进程，同时显示各个命令的具体路径。dx不可合用。（utility）
   -p pid 进程使用cpu的时间
   -u uid or username 选择有效的用户id或者是用户名
   -g gid or groupname 显示组的所有进程。
   U username 显示该用户下的所有进程，且显示各个命令的详细路径。如:ps U zhang;(utility)
   -f 全部列出，通常和其他选项联用。如：ps -fa or ps -fx and so on.
   -l 长格式（有F,wchan,C 等字段）
   -j 作业格式
   -o 用户自定义格式。
   v 以虚拟存储器格式显示
   s 以信号格式显示
   -m 显示所有的线程
   -H 显示进程的层次(和其它的命令合用，如：ps -Ha)（utility）
   e 命令之后显示环境（如：ps -d e; ps -a e）(utility)
   h 不显示第一行

把开头为 # 的行过滤掉
grep -Ev '^[[:space:]].*|^#' aliyun_aegis.sh

ps命令找出占用内存资源最多的10个进程
ps auxw|head -1;ps auxw|sort -rn -k4|head -10

内存消耗最多的前10个进程
ps auxw|head -1;ps auxw|sort -rn -k4|head -10
虚拟内存使用最多的前10个进程
ps auxw|head -1;ps auxw|sort -rn -k5|head -10