14-1 进程管理与任务计划

进程管理与任务计划

系统管理工具

  • 进程的分类：
    • CPU-Bound：CPU密集型，非交互
    • IO-Bound：IO密集型，交互
  • Linux系统状态的查看及管理工具：pstree, ps, pidof, pgrep, top, htop,
    • glance, pmap, vmstat, dstat, kill, pkill, job, bg, fg, nohup
  • pstree命令：
    • pstree display a tree of processes
  • ps: process state
    • ps report a snapshot of the current processes
    • Linux系统各进程的相关信息均保存在/proc/PID目录下的各文件中

查看进程ps

ps [OPTION]...

  • 支持三种选项：
    • UNIX选项 如-A -e
    • BSD选项 如a
    • GNU选项 如--help
  • 选项：默认显示当前终端中的进程
    • a 选项包括所有终端中的进程
    • x 选项包括不链接终端的进程
    • u 选项显示进程所有者的信息
    • f 选项显示进程树,相当于 --forest
    • k|--sort 属性 对属性排序,属性前加- 表示倒序
    • o 属性… 选项显示定制的信息 pid、cmd、%cpu、%mem
    • L 显示支持的属性列表
  • ps常见选项：
    • -C cmdlist 指定命令，多个命令用，分隔
    • -L 显示线程
    • -e 显示所有进程，相当于-A * -f 显示完整格式程序信息
    • -F 显示更完整格式的进程信息
    • -H 以进程层级格式显示进程相关信息
    • -u userlist 指定有效的用户ID或名称
    • -U userlist 指定真正的用户ID或名称
    • -g gid或groupname 指定有效的gid或组名称
    • -G gid或groupname 指定真正的gid或组名称
    • -p pid 显示指pid的进程
    • --ppid pid 显示属于pid的子进程
    • -t ttylist 指定tty,相当于 t
    • -M 显示SELinux信息，相当于Z
  • ps输出属性：
    • VSZ: Virtual memory SiZe，虚拟内存集，线性内存
    • RSS: ReSident Size, 常驻内存集
    • STAT：进程状态
      • R：running
      • S: interruptable sleeping
      • D: uninterruptable sleeping
      • T: stopped
      • Z: zombie
      • +: 前台进程
      • l: 多线程进程
      • L：内存分页并带锁
      • N：低优先级进程
      • <: 高优先级进程
      • s: session leader，会话（子进程）发起者
  • ps：
    • ni: nice值
    • pri: priority 优先级
    • rtprio: 实时优先级
    • psr: processor CPU编号
    • 示例：
      • ps axo pid,cmd,psr,ni,pri,rtprio
    • 常用组合：
      • aux
      • -ef
      • -eFH
      • -eo pid,tid,class,rtprio,ni,pri,psr,pcpu,stat,comm
      • axo stat,euid,ruid,tty,tpgid,sess,pgrp,ppid,pid,pcpu,comm
  • ps示例：
    • 查询你拥有的所有进程
      • ps -x
    • 显示指定用户名(RUID)或用户ID的进程
      • ps -fU apache
      • ps -fU 48
    • 显示指定用户名(EUID)或用户ID的进程
      • ps -fu wang
      • ps -fu 1000
    • 查看以root用户权限（实际和有效ID）运行的每个进程
      • ps -U root -u root
    • 列出某个组拥有的所有进程（实际组ID：RGID或名称）
      • ps -fG nginx
    • 列出有效组名称（或会话）所拥有的所有进程
      • ps -fg mysql
      • ps -fg 27
    • 显示指定的进程ID对应的进程
      • ps -fp 1234
    • 以父进程ID来显示其下所有的进程，如显示父进程为1234的所有进程
      • ps -f --ppid 1234
    • 显示指定PID的多个进程
      • ps -fp 1204,1239,1263
    • 要按tty显示所属进程
      • ps -ft pts/0
    • 以进程树显示系统中的进程如何相互链接
      • ps -e --forest
    • 以进程树显示指定的进程
      • ps -f --forest -C sshd
      • ps -ef --forest | grep -v grep | grep sshd
    • 要显示一个进程的所有线程,将显示LWP（轻量级进程）以及NLWP（轻量级进程数）列
      • ps -fL -C nginx
    • 要列出所有格式说明符
      • ps L
    • 查看进程的PID，PPID，用户名和命令
      • ps -eo pid,ppid,user,cmd
    • 自定义格式显示文件系统组,ni值开始时间和进程的时间
      • ps -p 1234 -o pid,ppid,fgroup,ni,lstart,etime
    • 使用其PID查找进程名称：
      • ps -p 1244 -o comm=
    • 要以其名称选择特定进程，显示其所有子进程
      • ps -C sshd,bash
    • 查找指定进程名所有的所属PID，在编写需要从std输出或文件读取PID的脚本时这个参数很有用
      • ps -C httpd,sshd -o pid=
    • 检查一个进程的执行时间
      • ps -eo comm,etime,user | grep nginx
    • 查找占用最多内存和CPU的进程
      • ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%mem | head
      • ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%cpu | head
    • 显示安全信息
      • ps -eM
      • ps --context
    • 使用以下命令以用户定义的格式显示安全信息
      • ps -eo euser,ruser,suser,fuser,f,comm,label
    • 使用watch实用程序执行重复的输出以实现对就程进行实时的监视，如下面的命令显示每秒钟的监视
      • watch -n 1 'ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%mem | head'

进程优先级

  • 进程优先级调整
    • 静态优先级：100-139
    • 进程默认启动时的nice值为0，优先级为120
    • 只有根用户才能降低nice值（提高优先性）
  • nice命令
    • nice [OPTION] [COMMAND [ARG]...]
  • renice命令
    • renice [-n] priority pid...
  • 查看
    • ps axo pid,comm,ni

系统工具

  • /proc/uptime 包括两个值，单位 s
    • 系统启动时长，空闲进程的总时长（按总的CPU核数计算）
  • uptime 和 w
    • 显示当前时间，系统已启动的时间、当前上线人数，系统平均负载（1、5、15分钟的平均负载，一般不会超过1，超过5时建议警报）
    • 系统平均负载:
      • 指在特定时间间隔内运行队列中的平均进程数
      • 通常每个CPU内核的当前活动进程数不大于3，那么系统的性能良好。如果每个CPU内核的任务数大于5，那么此主机的性能有严重问题
      • 如果linux主机是1个双核CPU，当Load Average 为6的时候说明机器已经被充分使用

进程管理工具

  • top：有许多内置命令
    • 帮助：h 或 ？ ，按 q 或esc 退出帮助
    • 排序：P：以占据的CPU百分比,%CPU
      • M：占据内存百分比,%MEM
      • T：累积占据CPU时长,TIME+
    • 首部信息显示：
      • uptime信息：l命令
      • tasks及cpu信息：t命令
      • cpu分别显示：1 (数字)
      • memory信息：m命令
    • 退出命令：q
    • 修改刷新时间间隔：s
    • 终止指定进程：k
    • 保存文件：W

top命令

  • 栏位信息简介
    • us：用户空间
    • sy：内核空间
    • ni：调整nice时间
    • id：空闲
    • wa：等待IO时间
    • hi：硬中断
    • si：软中断（模式切换）
    • st：虚拟机偷走的时间
  • 选项：
    • -d # 指定刷新时间间隔，默认为3秒 -b 全部显示所有进程
    • -n # 刷新多少次后退出
    • -H 线程模式，示例：top -H -p pidof mysqld
  • htop命令：EPEL源
    • 选项：
      • -d #: 指定延迟时间；
      • -u UserName: 仅显示指定用户的进程
      • -s COLUME: 以指定字段进行排序
    • 子命令：
      • s：跟踪选定进程的系统调用
      • l：显示选定进程打开的文件列表
      • a：将选定的进程绑定至某指定CPU核心
      • t：显示进程树

内存空间

内存空间使用状态：

  • free [OPTION] -b 以字节为单位
    • -m 以MB为单位
    • -g 以GB为单位
    • -h 易读格式
    • -o 不显示-/+buffers/cache行 -t 显示RAM + swap的总和
    • -s n 刷新间隔为n秒 -c n 刷新n次后即退出

系统监控工具

vmstat命令：虚拟内存信息：

  • vmstat [options] [delay [count]]
  • vmstat 2 5
  • procs:
    • r：可运行（正运行或等待运行）进程的个数，和核心数有关
    • b：处于不可中断睡眠态的进程个数(被阻塞的队列的长度)
  • memory：
    • swpd: 交换内存的使用总量
    • free：空闲物理内存总量
    • buffer：用于buffer的内存总量
    • cache：用于cache的内存总量
  • swap:
    • si：从磁盘交换进内存的数据速率(kb/s)
    • so：从内存交换至磁盘的数据速率(kb/s)
  • io：
    • bi：从块设备读入数据到系统的速率(kb/s)
    • bo: 保存数据至块设备的速率
  • system：
    • in: interrupts 中断速率，包括时钟
    • cs: context switch 进程切换速率
  • cpu：
    • us:Time spent running non-kernel code
    • sy: Time spent running kernel code
    • id: Time spent idle. Linux 2.5.41前,包括IO-wait time.
    • wa: Time spent waiting for IO. 2.5.41前，包括in idle.
    • st: Time stolen from a virtual machine. 2.6.11前, unknown.
  • 选项：
    • -s: 显示内存的统计数据
  • mpstat：显示CPU相关统计，示例：mpstat 1 5
  • iostat：统计CPU和设备IO信息，示例：iostat 1 10
  • iftop：显示带宽使用情况，EPEL源， 示例：iftop -n -i eth1
  • pmap命令：进程对应的内存映射
  • pmap [options] pid [...]
    • -x: 显示详细格式的信息
    • 示例：pmap 1
  • 另外一种实现
    • cat /proc/PID/maps

glances命令：EPEL源

  • glances [-bdehmnrsvyz1] [-B bind] [-c server] [-C conffile] [-p port] [-P password] [--password] [-t refresh] [-f file] [-o output]
  • 内建命令：
    • a Sort processes automatically
    • l Show/hide logs
    • c Sort processes by CPU%
    • b Bytes or bits for network I/O
    • m Sort processes by MEM%
    • w Delete warning logs
    • p Sort processes by name
    • x Delete warning and critical logs
    • i Sort processes by I/O rate
    • 1 Global CPU or per-CPU stats
    • d Show/hide disk I/O stats
    • h Show/hide this help screen
    • f Show/hide file system stats
    • t View network I/O as combination
    • n Show/hide network stats
    • u View cumulative network I/O
    • s Show/hide sensors stats
    • q Quit (Esc and Ctrl-C also work)
    • y Show/hide hddtemp stats
  • 常用选项：
    • -b: 以Byte为单位显示网卡数据速率
    • -d: 关闭磁盘I/O模块
    • -f /path/to/somefile: 设定输入文件位置
    • -o {HTML|CSV}：输出格式
    • -m: 禁用mount模块
    • -n: 禁用网络模块
    • -t #: 延迟时间间隔
    • -1：每个CPU的相关数据单独显示
  • C/S模式下运行glances命令
    • 服务器模式：
      • glances -s -B IPADDR
      • IPADDR: 指明监听的本机哪个地址
    • 客户端模式：
      • glances -c IPADDR
      • IPADDR：要连入的服务器端地址

dstat 命令：系统资源统计,代替 vmstat,iostat

  • dstat [-afv] [options..] [delay [count]]
    • -c 显示cpu相关信息
    • -C #,#,...,total
    • -d 显示disk相关信息
    • -D total,sda,sdb,...
    • -g 显示page相关统计数据
    • -m 显示memory相关统计数据
    • -n 显示network相关统计数据
    • -p 显示process相关统计数据
    • -r 显示io请求相关的统计数据
    • -s 显示swapped相关的统计数据
    • --tcp
    • --udp
    • --unix
    • --raw
    • --socket
    • --ipc
    • --top-cpu：显示最占用CPU的进程
    • --top-io: 显示最占用io的进程
    • --top-mem: 显示最占用内存的进程
    • --top-latency: 显示延迟最大的进程

iotop:

  • iotop命令是一个用来监视磁盘I/O使用状况的top类工具iotop具有与top相似的UI，其中包括PID、用户、I/O、进程等相关信息，可查看每个进程是如何使用IO
  • iotop输出
    • 第一行：Read和Write速率总计
    • 第二行：实际的Read和Write速率
    • 第三行：参数如下：
    • 线程ID（按p切换为进程ID）
    • 优先级
    • 用户
    • 磁盘读速率
    • 磁盘写速率
    • swap交换百分比
    • IO等待所占的百分比
    • 线程/进程命令
  • 常用参数：
    • -o, --only只显示正在产生I/O的进程或线程，除了传参，可以在运行过程中按o生效
    • -b, --batch非交互模式，一般用来记录日志
    • -n NUM, --iter=NUM设置监测的次数，默认无限。在非交互模式下很有用
    • -d SEC, --delay=SEC设置每次监测的间隔，默认1秒，接受非整形数据例如1.1
    • -p PID, --pid=PID指定监测的进程/线程
    • -u USER, --user=USER指定监测某个用户产生的I/O
    • -P, --processes仅显示进程，默认iotop显示所有线程
    • -a, --accumulated显示累积的I/O，而不是带宽
    • -k, --kilobytes使用kB单位，而不是对人友好的单位。在非交互模式下，脚本编程有用
    • -t, --time 加上时间戳，非交互非模式
    • -q, --quiet 禁止头几行，非交互模式，有三种指定方式
      • -q 只在第一次监测时显示列名
      • -qq 永远不显示列名
      • -qqq 永远不显示I/O汇总
    • 交互按键
      • left和right方向键：改变排序
      • r：反向排序
      • o：切换至选项--only
      • p：切换至--processes选项
      • a：切换至--accumulated选项
      • q：退出
      • i：改变线程的优先级

nload查看网络实时吞吐量：

  • nload 是一个实时监控网络流量和带宽使用情况，以数值和动态图展示进出的流量情况
  • 安装：yum install nload (EPEL源)
  • 界面操作
    • 上下方向键、左右方向键、enter键或者tab键都就可以切换查看多个网卡的流量情况
    • 按 F2 显示选项窗口
    • 按 q 或者 Ctrl+C 退出 nload
  • 示例：
    • nload：默认只查看第一个网络的流量进出情况
    • nload eth0 eth1：在nload后面指定网卡，可以指定多个
  • 设置刷新间隔：默认刷新间隔是100毫秒，可通过 -t命令设置刷新时间（单位是毫秒）
    • nload -t 500 eth0
  • 设置单位：显示两种单位一种是显示Bit/s、一种是显示Byte/s，默认是以Bit/s，也可不显示/s
    • -u h|b|k|m|g|H|B|K|M|G 表示的含义： h: auto, b: Bit/s, k: kBit/s, m: MBit/s, H: auto, B: Byte/s, K: kByte/s, M: MByte/s
    • nload -u M eth0

lsof：

  • lsof：list open files查看当前系统文件的工具。在linux环境下，一切皆文件，用户通过文件不仅可以访问常规数据，还可以访问网络连接和硬件如传输控制协议 (TCP) 和用户数据报协议 (UDP)套接字等，系统在后台都为该应用程序分配了一个文件描述符
  • 命令参数
    • -a：列出打开文件存在的进程
    • -c<进程名>：列出指定进程所打开的文件
    • -g：列出GID号进程详情
    • -d<文件号>：列出占用该文件号的进程
    • +d<目录>：列出目录下被打开的文件
    • +D<目录>：递归列出目录下被打开的文件
  • 命令参数
    • -n<目录>：列出使用NFS的文件
    • -i<条件>：列出符合条件的进程(4、6、协议、:端口、 @ip )
    • -p<进程号>：列出指定进程号所打开的文件
    • -u：列出UID号进程详情
    • -h：显示帮助信息
    • -v：显示版本信息。
    • -n: 不反向解析网络名字
  • 进程管理
    • 查看由登陆用户启动而非系统启动的进程
      • lsof /dev/pts/1
    • 指定进程号，可以查看该进程打开的文件
      • lsof -p 9527
    • 文件管理
    • 查看指定程序打开的文件
      • lsof -c httpd
    • 查看指定用户打开的文件
      • lsof -u root | more
    • 查看指定目录下被打开的文件
      • lsof +D /var/log/
      • lsof +d /var/log/
      • 参数+D为递归列出目录下被打开的文件，参数+d为列出目录下被打开的文件
  • 示例：
    • 查看所有网络连接
      • lsof -i –n
      • lsof -i@127.0.0.1
      • 通过参数-i查看网络连接的情况，包括连接的ip、端口等以及一些服务的连接情况，例如：sshd等。也可以通过指定ip查看该ip的网络连接情况
    • 查看端口连接情况
      • lsof -i :80 -n
      • 通过参数-i:端口可以查看端口的占用情况，-i参数还有查看协议，ip的连接情况等
    • 查看指定进程打开的网络连接
      • lsof -i –n -a -p 9527
      • 参数-i、-a、-p等，-i查看网络连接情况，-a查看存在的进程，-p指定进程
    • 查看指定状态的网络连接
      • lsof -n -P -i TCP -s TCP:ESTABLISHED
      • -n:no host names, -P:no port names,-i TCP指定协议，-s指定协议状态通过多个参数可以清晰的查看网络连接情况、协议连接情况等
    • 恢复删除文件
      • lsof |grep /var/log/messages
      • rm -f /var/log/messages
      • lsof |grep /var/log/messages
      • cat /proc/653/fd/6
      • cat /proc/653/fd/6 > /var/log/messages

kill

  • kill：内部命令，可用来向进程发送控制信号，以实现对进程管理,每个信号对应一个数字，信号名称以SIG开头（可省略），不区分大小写
  • 显示当前系统可用信号： kill -l 或者 trap -l
    • 常用信号：man 7 signal
      1. SIGHUP 无须关闭进程而让其重读配置文件
      1. SIGINT 中止正在运行的进程；相当于Ctrl+c
      1. SIGQUIT 相当于ctrl+\
      1. SIGKILL 强制杀死正在运行的进程
      1. SIGTERM 终止正在运行的进程
      1. SIGCONT 继续运行
      1. SIGSTOP 后台休眠
  • 指定信号的方法 :
    • (1) 信号的数字标识：1, 2, 9
    • (2) 信号完整名称：SIGHUP，sighup
    • (3) 信号的简写名称：HUP，hup
  • 按PID：kill [-s sigspec | -n signum | -sigspec] pid | jobspec ... or kill -l [sigspec]
    • 示例：
      • kill -1 pid …
      • kill -n 9 pid
      • kill -s SIGINT pid
  • 按名称：killall [-SIGNAL] comm…
  • 按模式：pkill [options] pattern
    • -SIGNAL
    • -u uid: effective user，生效者
    • -U uid: real user，真正发起运行命令者
    • -t terminal: 与指定终端相关的进程
    • -l: 显示进程名（pgrep可用）
    • -a: 显示完整格式的进程名（pgrep可用）
    • -P pid: 显示指定进程的子进程

作业管理

  • Linux的作业控制
    • 前台作业：通过终端启动，且启动后一直占据终端
    • 后台作业：可通过终端启动，但启动后即转入后台运行（释放终端）
  • 让作业运行于后台
    • (1) 运行中的作业： Ctrl+z
    • (2) 尚未启动的作业： COMMAND &
  • 后台作业虽然被送往后台运行，但其依然与终端相关；退出终端，将关闭后台作业。如果希望送往后台后，剥离与终端的关系
    • nohup COMMAND &>/dev/null &
    • screen；COMMAND
  • 查看当前终端所有作业：jobs
  • 作业控制：
    • fg [[%]JOB_NUM]：把指定的后台作业调回前台
    • bg [[%]JOB_NUM]：让送往后台的作业在后台继续运行
    • kill [%JOB_NUM]： 终止指定的作业

并行运行

  • 同时运行多个进程，提高效率
  • 方法1
    • vi all.sh
    • f1.sh&
    • f2.sh&
    • f3.sh&
  • 方法2
    • (f1.sh&);(f2.sh&);(f3.sh&)
  • 方法3
    • f1.sh& f2.sh& f3.sh&
posted @ 2019-10-26 15:29  kjalbert  阅读(155)  评论(0)  编辑  收藏  举报