linux查看进程被kill原因

问题

训练模型时，训练到第2个epoch时程序无缘无故消失，没有打印任何异常日志

定位方法

程序加try catch，捕获异常日志，运行python时使用如下命令记录error信息

nohup python xxx.py > nohup.out 2>&1 &

结果：nohup没有记录任何信息，训练过程突然中断，感觉程序被kill

查看系统kill日志

dmesg | egrep -i -B100 'killed process'
# 或者
egrep -i 'killed process' /var/log/messages
egrep -i -r 'killed process' /var/log
# 或者
journalctl -xb | egrep -i 'killed process'

发现有一条 Out of memory: kill process 21748(python)

优化

已定位是内存不够，优化代码、加内存，问题解决