线上问题定位--OOM

服务器上部署了Java服务，出现了OutOfMemoryError，问题应该如何定位?

解决思路

Java服务OOM，最常见的原因为：

• 有可能是内存分配确实过小，而正常业务使用了大量内存

• 某一个对象被频繁申请，却没有释放，内存不断泄漏，导致内存耗尽

• 某一个资源被频繁申请，系统资源耗尽，例如：不断创建线程，不断发起网络连接

更具体的，可以使用以下的一些工具逐一排查。

一、查发生了OOM的进程

工具：top

方法：

• 执行top -d 1 -c，每秒刷新一次，显示进程运行信息列表

• 键入M (大写m)，进程按照内存使用排序

图示：

二、确认是不是内存本身就分配过小

方法：jmap -heap 2820

如上图，可以查看新生代，老生代堆内存的分配大小以及使用情况，看是否本身分配过小。

三、找到最耗内存的对象

方法：jmap -histo:live 2820 | more 

图示：

如上图，输入命令后，会以表格的形式显示存活对象的信息，并按照所占内存大小排序：

• 实例数

• 所占内存大小

• 类名

是不是很直观?对于实例数较多，占用内存大小较多的实例/类，相关的代码就要针对性review了。

上图中占内存最多的对象是byte，共占用内存71M，值得关注，后续再MAT中再次分析。

四、确认是否是资源耗尽

查看进程创建的线程数，如果资源耗尽，也可能出现OOM。

工具：

• ps

方法：ps -efL 2820

查看进程网络连接数，如果资源耗尽，也可能出现OOM。

工具：

• netstat

方法：netstat -apn | grep 2820

这里介绍另一种方法，通过

• /proc/${PID}/fd 

• /proc/${PID}/task 

可以分别查看句柄详情和线程数。

例如，某一台线上服务器的sshd进程PID是2820，查看

• ll /proc/2820/fd 

• ll /proc/2820/task 

 

喜欢请微信扫描下面二维码，关注我公众号--“扯一扯技术”，做一些实战项目中的问题和解决方案分享。