tomcat进程意外退出: oom-killer

在非jvm crash引起的tomcat进程意外退出的故障里，oom-killer是见过的比例最多的情况，排查这类问题时应首先判断是否由oom-killer所致。这个问题在答疑中遇到好几次，记录一下给新人了解。

定位oom-killer通常比较简单，直接通过dmesg即可看到：

$  sudo dmesg | grep java | grep -i oom-killer[6989889.606947] java invoked oom-killer: gfp_mask=0x280da, order=0, oom_adj=0, oom_score_adj=0[7061818.494917] java invoked oom-killer: gfp_mask=0x201da, order=0, oom_adj=0, oom_score_adj=0[7108961.621382] java invoked oom-killer: gfp_mask=0x280da, order=0, oom_adj=0, oom_score_adj=0

或者在日志中按java关键字搜索，会看到类似下面的日志：

[7250516.311246] Out of memory: Kill process 15041 (java) score 869 or sacrifice child[7250516.311255] Killed process 15041, UID 505, (java) total-vm:2307028kB, anon-rss:1780636kB, file-rss:872kB

不过这里有个问题，日志的格式，不能之间看出被kill时的信息，除非你确定被kill的java进程id就是之前tomcat的进程id(在ali-tomcat会记录在一个文件里)。

在高版本的dmesg命令里，有一个很人性化的参数-T来以正常的时间格式来显示日志的，但很多时候会碰到比较低的版本：

$ rpm -qf /bin/dmesgutil-linux-2.13-0.56.el5

小于util-linux-2.20版本的无法使用这个参数，只有变通的通过下面的方式转换一下，从stackoverflow上学到的：

dmesg_with_human_timestamps () {$(type -P dmesg) "$@" | perl -w -e 'use strict;    my ($uptime) = do { local @ARGV="/proc/uptime";<>}; ($uptime) = ($uptime =~ /^(\d+)\./);    foreach my $line (<>) {        printf( ($line=~/^\[\s*(\d+)\.\d+\](.+)/) ? ( "[%s]%s\n", scalar localtime(time - $uptime + $1), $2 ) : $line )    }'}alias dmesg=dmesg_with_human_timestamps

把上面的函数和alias加到.bashrc里，source一下，可以得到正常的日期格式了：

$ dmesg | grep "(java)"[Thu Aug 28 20:50:14 2014] Out of memory: Kill process 18078 (java) score 872 or sacrifice child[Thu Aug 28 20:50:14 2014] Killed process 18078, UID 505, (java) total-vm:2390108kB, anon-rss:1784964kB, file-rss:2048kB[Fri Aug 29 14:48:06 2014] Out of memory: Kill process 15041 (java) score 869 or sacrifice child[Fri Aug 29 14:48:06 2014] Killed process 15041, UID 505, (java) total-vm:2307028kB, anon-rss:1780636kB, file-rss:872kB

开启oom-killer的话，在/proc/pid下对每个进程都会多出3个与oom打分调节相关的文件，如果想要关闭，可能涉及运维的管理，要跟各方沟通好。临时对某个进程可以忽略oom-killer可以使用下面的方式:

$ echo -17 > /proc/$(pidof java)/oom_adj

更多有关oom-killer的可参看这篇。