Mr.Chan

导航

一个关于cpu负载过高的问题

一台CISCO2621的cpu屡屡超出70%,经过sh ip cache flow,看了有一些非10网段内的ip被过滤,而且存在大量的病毒,开了很多的扫描进程,极大地消耗了路由器的资源。除了sh ip cache flow外,还有哪些命令可以查出关于cpu负载过高的原因,如何查?

我用过了sh proc cpu,发现在IP INPUT中的利用率很高达20%--50%,各端口的利用率txload 150以上,rxload 130以上。各通道3个2M捆绑一个MULTILINK6M,端口利用率都很大。
我分析了是否存在路由协议的配置问题,无
而且在sh proc cpu中arp input有8%,似乎存在广播包,有点儿不正常。
楼上的请问,是否增加带宽,这带宽可是去年11月刚开的阿
还是由病毒的存在,或者是端口的问题导致广播包增加?

LKP:

1、arp请求的数目过多会导致CPU负载变大,你的arp input广播过多,注意是否使用了类似IP  ROUTE 0.0.0.0 0.0.0.0 F0/0的缺省路由,因为大量的缺省路由指向一个广播接口会导致,路由器对每个Internet地址都会产生一个ARP请求,浪费了CPU

2。当然病毒存在,会扫描端口。也会导致你的路由器CPU负载变大。注意防毒和关闭没用的端口

3。关于你的ip input流量过大,注意检查如下内容:
     a--在一个流量非常大的接口上启用fast switch、opt switch、CEF等来提高性能,避免路由器使用处理交换。
     b---如果接口有大量的子接口和second 地址,注意一定启用CEF或者FAST SW,命令是 ip route-cache。
     C--如果你接口应用了策略路由,那每个包都要被处理,所以注意使用快速策略路由。命令ip route-cache policy。

4、如果你SH PROC CPU发现有大量的废弃的进程存在,注意使用:
scheduler allocate 命令可以防止大量的无用进程耗费CPU资源。我看你们公司有7507,那么你也可以在7507上使用scheduler allocate 命令来保证CPU给处理进程的一定响应时间,不过好像该命令只支持75和72。

5、当CPU耗费比较大的时候,首先应该使用show logging 命令检查错误信息,因为通常一些不正常的行为会被记录在log日志中。但是注意尽量log到文件中,不要log到buffer和级别尽量小于6。

其实在上面提到的那些命令show processes cpu、show interface、show interfaces stat 、show log 都是常用的,而且高效的,如果你能仔细掌握和深入使用,其实可以解决很多问题的。

hxdjo:
这台CISCO2621处于总部网络边界,用于连接各分部.带宽为8M,其中1条2M专门用于视频会议系统,其他的6M捆绑起来走数据
1、该路由器上没有启用缺省路由,运行的是ospf,同下级ospf用路由重新发布,我认为不存在缺省路由的问题
2、根据下级技术人员报告,该地区存在大量爱情后门病毒,爱情后门病毒的特征既是根据administrator的密码弱,而攻击该主机,后开了1个扫描进程,在sh ip ca fl中可以看见该病毒的扫描Ip范围
3、由于是边界设备,网络上全部采用2M专线互联,不存在子端口问题,每个端口均配置了ip cef
4、在负载高的时候,sh log并未出错
5、scheduler allocate这个命令我把它应用在该服务器上,我观察一段时间把开启命令和未开启时的sh proc cpu发布出来,供大家参考
6、内存利用率正常

根据以上结论,采取的措施:了解该部门是否还存在哪些应用,采用访问列表限制掉
sh ip cache flow

IP packet size distribution (306826 total packets):
   1-32   64   96  128  160  192  224  256  288  320  352  384  416  448  480
   .053 .293 .031 .034 .003 .003 .021 .008 .007 .000 .000 .002 .005 .001 .001

    512  544  576 1024 1536 2048 2560 3072 3584 4096 4608
   .001 .002 .004 .020 .500 .000 .000 .000 .000 .000 .000

IP Flow Switching Cache, 992828 bytes
  1635 active, 8365 inactive, 30445 added
  335850 ager polls, 0 flow alloc failures
  Active flows timeout in 30 minutes
  Inactive flows timeout in 15 seconds
  last clearing of statistics never
Protocol         Total    Flows   Packets Bytes  Packets Active(Sec) Idle(Sec)
--------         Flows     /Sec     /Flow  /Pkt     /Sec     /Flow     /Flow
TCP-WWW           2833      0.0        20  1089      0.0       7.7      10.8
TCP-SMTP            12      0.0        21   787      0.0       7.2       2.9
TCP-other        23444      0.0         4   181      0.0       2.3      14.9
UDP-DNS            550      0.0         2    62      0.0       2.6      15.9
UDP-NTP            118      0.0         1    76      0.0       0.0      16.0
UDP-other          520      0.0         7  1150      0.0       2.1      15.8
ICMP              1325      0.0        13    32      0.0       0.7      15.8
IP-other             8      0.0         1    38      0.0       3.2      15.9
Total:           28810      0.0         6   479      0.0       2.7      14.6

SrcIf         SrcIPaddress    DstIf         DstIPaddress    Pr SrcP DstP  Pkts
Fa0/0         10.134.8.74     Null          211.150.96.32   06 130C 0050     1
Fa0/0         10.134.1.81     Null          10.134.1.255    11 008A 008A     1
Fa0/0         10.134.16.129   Null          211.89.0.214    01 0000 0800     1
Fa0/0         10.134.5.109    Null          164.100.6.105   06 043A 0087     1
Fa0/0         10.134.5.109    Null          164.100.6.104   06 0424 0087     2
Fa0/0         10.134.48.111   Null          211.89.0.214    01 0000 0800     1
Fa0/0         10.134.11.151   Mu4           10.22.49.134    06 0050 0847    26
Fa0/0         10.134.5.109    Null          164.100.6.105   06 042D 008B     2
Fa0/0         10.134.11.151   Mu4           10.22.49.134    06 0050 084C    10
Fa0/0         10.134.5.109    Null          164.100.6.104   06 041C 008B     2
Fa0/0         10.134.31.1     Null          211.89.0.214    06 07C1 0050     2
Fa0/0         10.134.73.193   Mu4           10.37.114.123   06 0050 0F31     9
Fa0/0         10.134.73.193   Mu4           10.37.114.123   06 0050 0F29    41
Fa0/0         10.134.24.68    Null          211.89.0.214    06 0743 0050     2
Fa0/0         10.134.1.1      Mu4           10.134.51.2     11 0035 11D4     2
Fa0/0         10.134.5.161    Mu4           10.130.10.30    06 0DA7 0E9D  5495
Fa0/0         10.134.81.32    Null          211.89.0.214    06 0856 0050     4
Fa0/0         10.134.54.192   Fa0/0         10.134.107.22   06 1265 0087    63
Fa0/0         10.134.54.192   Fa0/0         10.134.107.22   06 1257 008B   126
Fa0/0         10.134.54.5     Null          211.89.0.214    01 0000 0800     1
Fa0/0         10.134.60.30    Null          202.101.112.55  11 0BC5 0035     8
Fa0/0         10.134.22.24    Null          211.89.0.214    01 0000 0800     1
Fa0/0         10.134.54.192   Fa0/0         10.134.107.21   06 1247 0087   126
Fa0/0         10.134.54.23    Null          211.89.0.214    01 0000 0800     1
Fa0/0         10.134.54.192   Null          43.60.107.10    06 129B 008B     1
Fa0/0         10.134.54.192   Null          43.60.107.9     06 128D 0087     2
Fa0/0         10.134.64.1     Mu4           10.130.1.29     06 09F2 1F91     3
Fa0/0         10.134.11.151   Null          211.89.0.214    06 0C5B 1F91     3
Fa0/0         10.134.81.85    Null          211.89.0.214    06 0941 0050     3
Fa0/0         10.134.54.192   Null          43.60.107.9     06 127D 008B     2
Fa0/0         10.134.73.193   Mu4           10.102.184.37   06 0050 1003    11
Fa0/0         10.134.73.193   Mu4           10.102.184.37   06 0050 1004     1
Fa0/0         10.134.73.193   Mu4           10.102.184.37   06 0050 1005     3
Fa0/0         10.134.54.192   Null          43.60.107.8     06 126F 0087     2
Fa0/0         10.134.35.62    Mu4           10.130.1.29     06 0C0C 1F91     1
Fa0/0         10.134.11.151   Mu4           10.26.147.31    06 0050 08A8     6
Fa0/0         10.134.54.192   Fa0/0         10.134.107.24   06 1292 008B    63
Fa0/0         10.134.54.192   Fa0/0         10.134.107.23   06 1282 0087   126
Fa0/0         10.134.41.198   Mu4           10.134.44.3     06 066B 01BD     2
Fa0/0         10.134.41.198   Mu4           10.134.44.2     06 0671 01BD     2
Fa0/0         10.134.61.1     Null          211.89.0.214    06 0731 0050     3
Fa0/0         10.134.54.192   Null          164.100.66.162  06 1278 0087     2
Fa0/0         10.134.54.192   Null          211.89.0.214    01 0000 0800     1
Fa0/0         10.134.54.192   Null          164.100.66.162  06 1269 008B     2
Fa0/0         10.134.24.66    Null          46.76.85.88     06 0D57 01BD     3
Fa0/0         10.134.24.66    Null          46.76.85.87     06 0D55 01BD     3
Fa0/0         10.134.24.66    Null          46.76.85.90     06 0D5B 01BD     3
Fa0/0         10.134.24.66    Null          46.76.85.97     06 0D7E 01BD     3
Fa0/0         10.134.24.66    Null          46.76.85.96     06 0D7C 01BD     3
Fa0/0         10.134.24.66    Null          46.76.85.94     06 0D78 01BD     3
Fa0/0         10.134.24.66    Null          46.76.85.95     06 0D7A 01BD     3
Fa0/0         10.134.24.66    Null          46.76.85.93     06 0D76 01BD     3
Fa0/0         10.134.54.192   Null          164.100.66.164  06 12B2 0087     2
Fa0/0         10.134.24.66    Null          46.76.85.92     06 0D74 01BD     3
Fa0/0         10.134.22.157   Null          211.89.0.214    01 0000 0800     1
Fa0/0         10.134.62.99    Fa0/0         10.134.5.10     11 0401 0035     1
Fa0/0         10.134.41.198   Mu4           10.134.44.5     06 0683 01BD     3
Fa0/0         10.134.41.198   Mu4           10.134.44.3     06 0686 01BD     3
Fa0/0         10.134.41.198   Mu4           10.134.44.2     06 068C 01BD     3
Fa0/0         10.134.14.199   Mu4           10.130.1.10     11 0809 0035     1
Fa0/0         10.134.41.198   Mu4           10.134.44.5     06 0691 01BD     1
Fa0/0         10.134.14.199   Mu4           10.130.1.9      11 0809 0035     4
Fa0/0         10.134.81.211   Null          211.89.0.214    06 0B73 0050     3
Fa0/0         10.134.1.1      Mu4           10.130.1.10     11 040A 0035     3
Fa0/0         10.134.24.66    Null          46.76.85.103    06 0DA0 008B     1
Fa0/0         10.134.24.66    Null          46.76.85.104    06 0DA2 008B     1
Fa0/0         10.134.24.66    Null          46.76.85.102    06 0D9E 008B     1
Fa0/0         10.134.24.66    Null          46.76.85.100    06 0D85 008B     3
Fa0/0         10.134.24.66    Null          46.76.85.101    06 0D87 008B     3
Fa0/0         10.134.24.66    Null          46.76.85.99     06 0D83 008B     3
Fa0/0         10.134.54.192   Null          12.189.144.197  06 1309 0087     2
Fa0/0         10.134.54.192   Null          12.189.144.198  06 1318 008B     1
Fa0/0         10.134.4.2      Mu4           10.1.1.130      11 0940 0035     1
Fa0/0         10.134.4.2      Mu4           10.1.1.130      11 0941 0035     1
Fa0/0         10.134.4.2      Mu4           10.1.1.130      11 0942 0035     1
Fa0/0         10.134.4.2      Mu4           10.1.1.10       11 093F 0035     1
Fa0/0         10.134.22.32    Null          202.101.112.55  11 0401 0035    20
Fa0/0         10.134.73.193   Fa0/0         10.134.5.67     06 0448 23A4     2
Fa0/0         10.134.5.67     Fa0/0         10.134.73.193   06 23A4 0448     1
Fa0/0         10.134.73.193   Mu4           10.50.40.10     06 0050 054A    47
Fa0/0         10.134.25.98    Null          164.100.2.139   06 11D3 008B     2
Fa0/0         10.134.25.98    Null          164.100.2.138   06 11D0 0087     2
Fa0/0         10.134.25.98    Null          164.100.2.140   06 11D9 008B     1
Fa0/0         10.134.25.98    Null          164.100.2.139   06 11D6 0087     2
Fa0/0         10.134.73.193   Mu4           10.50.40.10     06 0050 0559     3
Fa0/0         10.134.73.193   Mu4           10.50.40.10     06 0050 055A    32
Fa0/0         10.134.73.193   Mu4           10.50.40.10     06 0050 0565    44
Fa0/0         10.134.73.193   Mu4           10.50.40.10     06 0050 0567    10
Fa0/0         10.134.73.193   Mu4           10.50.40.10     06 0050 0571     6
Fa0/0         10.134.73.193   Mu4           10.32.16.72     06 0050 0C5F     1
Fa0/0         10.134.73.193   Mu4           10.32.16.72     06 0050 0C5E     4
Fa0/0         10.134.73.193   Mu4           10.32.16.72     06 0050 0C5A    20
Fa0/0         10.134.54.192   Null          12.189.144.197  06 12FB 008B     2
Fa0/0         10.134.73.193   Mu4          10.167.69.101   06 0050 06A0     3

图中10.0.0.0 为网内地址,其他为非法地址

 

sh proc cpu

NPS_C_Cisco3640_1>   sh proc cpu
CPU utilization for five seconds: 99%/40%; one minute: 99%; five minutes: 97%
PID Runtime(ms)   Invoked      uSecs   5Sec   1Min   5Min TTY Process
   1           0         1          0  0.00%  0.00%  0.00%   0 Chunk Manager
   2         100       242        413  0.00%  0.00%  0.00%   0 Load Meter
   3        1500      1352       1109  0.00%  0.06%  0.07%   0 OSPF Hello
   4        1528       166       9204  0.00%  0.08%  0.07%   0 Check heaps
   5          28        39        717  0.00%  0.00%  0.00%   0 Pool Manager
   6           0         1          0  0.00%  0.00%  0.00%   0 AAA_SERVER_DEADT
   7           0         2          0  0.00%  0.00%  0.00%   0 Timers
   8           0         2          0  0.00%  0.00%  0.00%   0 Serial Backgroun
   9           0         2          0  0.00%  0.00%  0.00%   0 AAA high-capacit
  10           0         1          0  0.00%  0.00%  0.00%   0 OIR Handler
  11           0        42          0  0.00%  0.00%  0.00%   0 Environmental mo
  12         784       450       1742  0.00%  0.01%  0.00%   0 ARP Input
  13          72       301        239  0.00%  0.00%  0.00%   0 HC Counter Timer
  14           0         3          0  0.00%  0.00%  0.00%   0 DDR Timers
  15          16         4       4000  0.00%  0.00%  0.00%   0 Entity MIB API
  16           0         1          0  0.00%  0.00%  0.00%   0 SERIAL A'detect
  17         108      1166         92  0.00%  0.00%  0.00%   0 GraphIt
  18           0         2          0  0.00%  0.00%  0.00%   0 Dialer event
  19           0         1          0  0.00%  0.00%  0.00%   0 Critical Bkgnd
  20         820       609       1346  0.00%  0.03%  0.02%   0 Net Background
  21          12        23        521  0.00%  0.00%  0.00%   0 Logger
  22         236      1162        203  0.00%  0.00%  0.00%   0 TTY Background
PID Runtime(ms)   Invoked      uSecs   5Sec   1Min   5Min TTY Process
  23         368      1170        314  0.00%  0.01%  0.00%   0 Per-Second Jobs
  24           0         2          0  0.00%  0.00%  0.00%   0 SM Monitor
  25         280      1414        198  0.00%  0.01%  0.00%   0 Net Input
  26         328       243       1349  0.00%  0.00%  0.00%   0 Compute load avg
  27         392        21      18666  0.00%  0.02%  0.00%   0 Per-minute Jobs
  28           4        42         95  0.00%  0.00%  0.00%   0 Call Management
  29           0         2          0  0.00%  0.00%  0.00%   0 AAA Server
  30           0         1          0  0.00%  0.00%  0.00%   0 AAA ACCT Proc
  31           0         1          0  0.00%  0.00%  0.00%   0 ACCT Periodic Pr
  32           0         2          0  0.00%  0.00%  0.00%   0 AAA Dictionary R
  33     1175756     17905      65666 57.47% 59.61% 59.20%   0 IP Input
  34           0         1          0  0.00%  0.00%  0.00%   0 ICMP event handl
  35         468       362       1292  0.00%  0.01%  0.00%   0 CDP Protocol
  36           0         3          0  0.00%  0.00%  0.00%   0 PPP Hooks
  37           0         1          0  0.00%  0.00%  0.00%   0 X.25 Encaps Mana
  38          24        62        387  0.00%  0.00%  0.00%   0 TCP Timer
  39          16         5       3200  0.00%  0.00%  0.00%   0 TCP Protocols
  40           0         1          0  0.00%  0.00%  0.00%   0 Socket Timers
  41           4         6        666  0.00%  0.00%  0.00%   0 HTTP CORE
  42           0         2          0  0.00%  0.00%  0.00%   0 PPP IP Route
  43           4         2       2000  0.00%  0.00%  0.00%   0 PPP IPCP
  44         204        41       4975  0.00%  0.00%  0.00%   0 IP Background
  45           4        15        266  0.00%  0.00%  0.00%   0 IP RIB Update

posted on 2005-03-23 22:32  cunshen  阅读(3739)  评论(0)    收藏  举报