故障处理：AIX主机内存使用100%分析(dia0消耗大量内存)

AIX主机内存使用100%分析(dia0消耗大量内存)

我们的文章会在微信公众号IT民工的龙马人生和博客网站( www.htz.pw )同步更新 ，欢迎关注收藏，也欢迎大家转载，但是请在文章开始地方标注文章出处，谢谢！
由于博客中有大量代码，通过页面浏览效果更佳。

从昆明回到成都家，大概已经是晚上12点了，朋友说他们主机内存使用100%，需要通过重启主机来释放内存。通过teamviewer远程看看：

1，使用nmon查看内存使用情况

          Physical  PageSpace |        pages/sec  In     Out | FileSystemCache

% Used       99.5%     20.3%  | to Paging Space   0.0    0.0 | (numperm)  7.3%

% Free        0.5%     79.7%  | to File System    3.7    0.0 | Process   75.1%

MB Used   31594.2MB  1662.7MB | Page Scans        0.0        | System    17.1%

MB Free     149.8MB  6529.3MB | Page Cycles       0.0        | Free       0.5%

Total(MB) 31744.0MB  8192.0MB | Page Steals       0.0        |           ——

                              | Page Faults   73604.8        | Total    100.0%

———————————————————— | numclient  7.3%

Min/Maxperm     3075MB( 10%)  18452MB( 58%) <–% of RAM      | maxclient 19.4%

Min/Maxfree     960   1088       Total Virtual   39.0GB      | User      79.4%

Min/Maxpgahead    2      8    Accessed Virtual   29.8GB 76.4%| Pinned    18.7%

这里看到剩余的物理内存只有149M，numclient,maxclient，system内存使用率都不算太高，process达到了75%。

2，统计进程内存使用情况

查看ORACLE用户进程的内存使用

htz.pw:/home/grid>ps vx|grep ora|grep -v grep|awk ‘{ print ($7-$10)/1024}’

16.1211

7.75391

6.07031

0.546875

13.0547

22.9883

13.0547

16.5625

70.6914

21.6992

22.6094

16.8867

13.7734

21.1328

21.1172

20.7852

16.8984

18.9531

19.9297

21.8945

22.3398

21.8203

5.42578

2.00781

90.0039

2.56641

0.753906

1.52344

2.40234

0.371094

1.04688

0.316406

22.1914

19.668

20.9805

21.6445

16.8984

25.2656

16.9062

17.0117

23.0078

21.0938

19.3047

查看grid内存使用情况

htz.pw:/home/grid>ps vx|grep asm|grep -v grep|awk ‘{ print ($7-$10)/1024,$1}’

1.73438 3670252

5.74609 4653094

1.21094 4915366

1.05469 4980854

1.02734 5046308

0.898438 5111870

1.89453 5243102

0.988281 5374008

1.4375 5439526

1.48047 5505070

1.51562 5570602

1.95312 5701680

1.01562 3211554

12.5898 3408140

0.628906 3604896

0.976562 3735942

2.33203 3801398

1.43359 3866920

7187.71 3998108

1.41797 4063522

1.63281 4194604

0.722656 4391226

这里可以看到3998108内存使用达到了7187.71M。

3，分析3998108进程内存使用

htz.pw:/home/grid>ps -ef|grep 3998108

    grid  3998108        1   5   Oct 24      – 4815:55 asm_dia0_+ASM1

    grid  8913384  8585316   0 00:36:12  pts/4  0:00 grep 3998108

htz.pw:/home/grid>svmon -P 3998108

 

——————————————————————————-

     Pid Command          Inuse      Pin     Pgsp  Virtual 64-bit Mthrd  16MB

 3998108 oracle         1937693    26000     7431  1922142      Y     N     N

 

     PageSize                Inuse        Pin       Pgsp    Virtual

     s    4 KB             1873069          0       7431    1857518

     m   64 KB                4039       1625          0       4039

 

    Vsid      Esid Type Description              PSize  Inuse   Pin Pgsp Virtual

  a919a9        25 work text data BSS heap          sm  65536     0    0   65536

  800cc0        1f work text data BSS heap          sm  65536     0    0   65536

  8d230d        29 work text data BSS heap          sm  65536     0    0   65536

  b50c75        2a work text data BSS heap          sm  65536     0    0   65536

  802840        21 work text data BSS heap          sm  65536     0    0   65536

  972617        15 work text data BSS heap          sm  65536     0    0   65536

  952415        24 work text data BSS heap          sm  65536     0    0   65536

这里可以看到进程为ASM实例的dia0进程，跟hm功能相关系，可以手动kill。

htz.pw:/home/grid>ps -ef|grep dia0

  oracle  6553718        1   1   Oct 24      – 1495:31 ora_dia0_fids1

    grid  3998108        1  17   Oct 24      – 4817:32 asm_dia0_+ASM1

    grid  6488392 11010296   0 00:54:37  pts/4  0:00 grep dia0

htz.pw:/home/grid>kill -9 3998108

kill后查看内存的使用情况

          Physical  PageSpace |        pages/sec  In     Out | FileSystemCache

% Used       76.9%     20.4%  | to Paging Space   0.0    0.0 | (numperm)  7.4%

% Free       23.1%     79.6%  | to File System    0.0    0.4 | Process   52.4%

MB Used   24416.9MB  1671.9MB | Page Scans        0.0        | System    17.1%

MB Free    7327.1MB  6520.1MB | Page Cycles       0.0        | Free      23.1%

Total(MB) 31744.0MB  8192.0MB | Page Steals       0.0        |           —–

                              | Page Faults   50420.1        | Total    100.0%

———————————————————— | numclient  7.4%

Min/Maxperm     3075MB( 10%)  18452MB( 58%) <–% of RAM      | maxclient 19.4%

Min/Maxfree     960   1088       Total Virtual   39.0GB      | User      56.9%

Min/Maxpgahead    2      8    Accessed Virtual   22.8GB 58.4%| Pinned    18.8%

4，MOS搜索

下面是MOS的一些信息收集

dia0 High Memory Usage (Doc ID 1376981.1)

Bug 13680405 – PGA consumption keeps growing in DIA0 process (Doc ID 13680405.8)

通过查询MOS文档，得到是由于BUG导致。

------------------作者介绍-----------------------
姓名：黄廷忠
现就职：Oracle中国高级服务团队
曾就职：OceanBase、云和恩墨、东方龙马等
电话、微信、QQ：18081072613
个人博客: (http://www.htz.pw)
CSDN地址: (https://blog.csdn.net/wwwhtzpw)
博客园地址: (https://www.cnblogs.com/www-htz-pw)