linux-分析系统I/O的瓶颈

一，用vmstat分析系统I/O情况
[root@localhost ~]# vmstat -n 3       (每个3秒刷新一次）
procs-----------memory--------------------swap--- ---io---- --system---- ------cpu--------
r   b    swpd   free       buff       cache       si   so   bi    bo   in      cs        us   sy   id   wa
1  0   144 186164 105252 2386848     0    0    18   166  83     2          48   21  31   0
2  0   144 189620 105252 2386848     0    0     0   177  1039 1210   34   10  56    0
0  0   144 214324 105252 2386848     0    0     0    10   1071   670    32   5    63    0
0  0   144 202212 105252 2386848     0    0     0   189   1035   558   20   3    77    0
2  0   144 158772 105252 2386848     0    0     0   203  1065 2832    70  14  15    0
 
 
IO
-bi:从块设备读入的数据总量（读磁盘）（KB/S）
-bo:写入到块设备的数据总量（写磁盘）（KB/S）
随机磁盘读写的时候，这2个值越大（如超出1M),能看到CPU在IO等待的值也会越大
  
二，用iostat分析I/O子系统情况 

    如果你的系统没有iostat，sar，mpstat等命令，安装
sysstat-7.0.2-1.el5.i386.rpm包，iostat工具将对系统的磁盘操作活动进行监视。它的特点是汇报磁盘活动统计情况，同时也会汇报出CPU使用情况。同vmstat一样，iostat也有一个弱点，就是它不能对某个进程进行深入分析，仅对系统的整体情况进行分析。 
iostat的语法如下： 

程序代码
iostat [ -c | -d ] [ -k ] [ -t ] [ -V ] [ -x [ device ] ] [ interval [ count ] ]
  
-c为汇报CPU的使用情况；
-d为汇报磁盘的使用情况；
-k表示每秒按kilobytes字节显示数据；
-t为打印汇报的时间；
-v表示打印出版本信息和用法；
-x device指定要统计的设备名称，默认为所有的设备；
interval指每次统计间隔的时间；
count指按照这个时间间隔统计的次数。
  
iostat在内核2.4和内核2.6中数据来源不太一样，对于kernel 2.4, iostat 的数据的主要来源是 /proc/partitions；在2.6中，数据来源主要是/proc/diskstats和/sys/block/sd*/stat这两个文件
#cat /proc/diskstats | grep sda
  8     0  sda   17945521  1547188    466667211  174042714   15853874 42776252   469241932  2406054445  0  137655809   2580960422
   8    1   sda1  936           1876          6                12
   8    2   sda2  19489178  466659986 58655070    469240224
   8    3   sda3  1270         1441          33               264
   8    4   sda4  4               8               0                 0
   8    5   sda5  648           1442          0                 0
   8    6   sda6  648           1442          0                 0
  
第1列 : 磁盘主设备号(major)
第2列 : 磁盘次设备号(minor)
第3列 : 磁盘的设备名(name)
第4列 : 读请求总数(rio)
第5列 : 合并的读请求总数(rmerge)
第6列 : 读扇区总数(rsect)
第7列 :   读数据花费的时间，单位是ms.(从__make_request到 end_that_request_last)(ruse)
第8列 :   写请求总数(wio)
第9列 :   合并的写请求总数(wmerge)
第10列 : 写扇区总数(wsect)
第11列 : 写数据花费的时间，单位是ms. (从__make_request到 end_that_request_last)(wuse)
第12列 : 现在正在进行的I/O数(running),等于I/O队列中请求数
第13列 : 系统真正花费在I/O上的时间，除去重复等待时间(aveq)
第14列 : 系统在I/O上花费的时间(use)。
 

#iostat -x 1
Linux 2.6.18-53.el5PAE (localhost.localdomain)  03/27/2009

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          30.72    0.00    5.00    5.72    0.00   58.56

Device:   rrqm/s   wrqm/s    r/s    w/s     rsec/s   wsec/s   avgrq-sz avgqu-sz   await    svctm    %util
sda         0.79       21.81     9.15   8.08   237.99   239.29    27.69       1.32         76.31    4.07      7.02
sdb         0.69      19.13      3.26   2.99   153.08   176.92    52.85       0.43         68.80    5.96      3.72
sdc         3.47       89.30     10.95  7.30   213.30   772.94    54.04       1.32         72.43    4.18      7.63

每项数据的含义如下，
rrqm/s:     每秒进行 merge 的读操作数目。即 rmerge/s
wrqm/s:     每秒进行 merge 的写操作数目。即 wmerge/s
r/s:       每秒完成的读 I/O 设备次数。即 rio/s
w/s:       每秒完成的写 I/O 设备次数。即 wio/s
rsec/s:     每秒读扇区数。即 rsect/s
wsec/s:     每秒写扇区数。即 wsect/s
rkB/s:     每秒读K字节数。是 rsect/s 的一半，因为每扇区大小为512字节。
wkB/s:     每秒写K字节数。是 wsect/s 的一半。
avgrq-sz:   平均每次设备I/O操作的数据大小 (扇区)。即 (rsect+wsect)/(rio+wio)
avgqu-sz:   平均I/O队列长度。即 aveq/1000 (因为aveq的单位为毫秒)。
await:     平均每次设备I/O操作的等待时间 (毫秒)。即 (ruse+wuse)/(rio+wio)
svctm:     平均每次设备I/O操作的服务时间 (毫秒)。即 use/(rio+wio)
%util:     一秒中有百分之多少的时间用于 I/O 操作，或者说一秒中有多少时间 
I/O队列是非空的,即use/1000 (因为use的单位为毫秒),
如果 %util 接近 100%，说明产生的I/O请求太多，I/O系统已经满负荷，该磁盘可能存在瓶颈。

     svctm 一般要小于 await (因为同时等待的请求的等待时间被重复计算了)，
svctm 的大小一般和磁盘性能有关，CPU/内存的负荷也会对其有影响，请求过多
也会间接导致 svctm 的增加。
await 的大小一般取决于服务时间(svctm) 以及 I/O 队列的长度和 I/O 请求的发出模式。如果 svctm 比较接近 await，说明 I/O 几乎没有等待时间；如果 await 远大于 svctm，说明 I/O 队列太长，应用得到的响应时间变慢，如果响应时间超过了用户可以容许的范围，这时可以考虑更换更快的磁盘，调整内核 elevator 算法，优化应用，或者升级 CPU。
   队列长度(avgqu-sz)也可作为衡量系统 I/O 负荷的指标，但由于 avgqu-sz 是按照单位时间的平均值，所以不能反映瞬间的 I/O 洪水。
io/s = r/s +w/s
await=(ruse+wuse)/io（每个请求的等待时间）
await*io/s=每秒内的I/O请求总共需要等待的ms

 

  
四，sar -d 1 10
Linux 2.6.18-53.el5PAE (localhost.localdomain)  03/29/2009
12:38:56 AM       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
12:38:57 AM     dev8-0     15.00    232.00      0.00     15.47      0.01             0.87      0.87      1.30
12:38:57 AM   dev8-16      6.00     80.00    320.00     66.67      0.05             8.67      8.67      5.20
12:38:57 AM   dev8-32     10.00    224.00      0.00     22.40      0.09             9.20      9.20      9.20
 
              tps：每秒钟对磁盘发送transfer的总数，一个transfer就是一个I/O，多个逻辑请求组合成一个对磁盘的I/O请求，一个transfer的大小不确定
              rd_sec/s
                     每秒钟读取的扇区数，每个扇区512 bytes.
              wr_sec/s
                     每秒钟写入的扇区数，每个扇区512 bytes.
              avgrq-sz
                     对磁盘请求的扇区的平均大小。
              avgqu-sz
                     对磁盘请求的平均队列长度.
              await
                     请求响应的平均时间（毫秒）.包括在请求队列中的时间和响应消耗时间
              svctm
                     对IO请求的服务时间.
              %util
                     I/O请求占用的CPU时间百分比。

 


avgqu-sz=await*(r/s+w/s)/1000(队列长度)

 

以下数据其实与/proc/diskstats中除设备号与设备名外的其它数据是一一对应关系，只是统计的方法略有差别而已。
#cat /sys/block/sda/stat
17949157  1547772 466744707 174070520 15855905 42781288 469298468 2406092114        2 137680700 2581025934
  
三，sar -b 监控I/O
 
#sar -b 1 10
Linux 2.6.18-53.el5PAE (localhost.localdomain)  03/29/2009
12:19:40 AM       tps      rtps       wtps      bread/s    bwrtn/s
12:19:42 AM     21.48      9.40     12.08    187.92    429.53
12:19:43 AM     14.00     14.00      0.00    840.00      0.00
12:19:44 AM     10.29      8.82      1.47    235.29    217.65
12:19:45 AM     12.87     10.89      1.98    752.48    142.57
12:19:46 AM     19.82     12.61      7.21    425.23    381.98
12:19:47 AM     19.00     19.00      0.00    512.00      0.00
12:19:49 AM      9.29      9.29      0.00    262.86      0.00
12:19:50 AM     16.00      5.00     11.00    144.00    536.00
12:19:51 AM     17.65      8.82      8.82    211.76    235.29
12:19:52 AM     41.41     29.29     12.12    614.14    363.64
Average:           17.75     12.30      5.45    397.19    231.99
 
-tps:每秒钟对磁盘发送transfer的总数，一个transfer就是一个I/O，多个逻辑请求组合成一个对磁盘的I/O请求，一个transfer的大小不确定。
-rtps:每秒钟的物理读的总数
-wtps:每秒钟的物理写的总数
-bread/s:每秒钟从磁盘读取的数据总数

-bwrtn/s:每秒钟写入磁盘的数据的总数

 


posted @ 2010-09-01 11:16  sunss  阅读(1491)  评论(0)  编辑  收藏  举报