性能文章>神奇的"僵尸"进程问题>

神奇的"僵尸"进程问题原创

1年前
5674010

现象描述

大概1个月多以前 在启动脚本中增加了tail -f,用来启动后追踪日志判断是否启动成功,后发现无法执行shutdown .sh(卡住 利用curl) 然后无奈使用kill -9,但通过ps -el 发现此时进程变为defunct 即僵尸进程,当时的解决办法无奈 只能找到僵尸进程的父进程kill,当时认为可能是tail的问题 后来启动脚本中去掉tail 发现问题解决。

But 当时一直没有来得及排查是如何引起僵尸进程的问题,这两天抽时间排查了一下,发现和tail没有一毛钱关系,艰难的排查过程1-尝试复现。

测试代码Defunct.java

import java.util.concurrent.TimeUnit;

public class Defunct {
    public static void main(String[] args) {
        while (true) {
            System.out.println("test defunct");

            try {
                TimeUnit.SECONDS.sleep(30);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
        }
    }
}

启动脚本start.sh

#!/bin/bash

nohup java -cp defunct.jar Defunct &

echo "$!"
echo "$!" > pid

启动脚本start_tail.sh 使用了tail

#!/bin/bash

nohup java -cp defunct.jar Defunct &

echo "$!"
echo "$!" > pid

tail -f nohup.out

关服脚本stop.sh 这里使用kill关服

#!/bin/bash

pid=`cat pid`
echo $pid

kill $pid

分别用两个脚本测试,得出下面几个结论

  • start.sh启动的java进程的父进程是1 即init进程

  • start_tail.sh启动后 java进程的父进程是sh

    • sh分别有两个子进程 :一个是java子进程,一个是tail子进程
  • 当启动start_tail.sh后 因为tail是前台进程 所以ctrl+c可以结束

    • 此时sh和tail两个进程都结束了
    • 而此时java进程的父进程变为了1
  • 用这个例子做各种测试 都无法复现僵尸进程的问题

    • 所以初步结论是貌似和tail没有什么关系

艰难的排查过程2-游戏服务器尝试复现

当初出现是在游戏服务器复现的 那么应该比较复现吧,修改了一下一个游戏服务器的启动脚本 默认是没有加tail 现在加上了tail -f,启动游戏服务器脚本 看到日志 启动成功 ctrl+c 退出tail,调用shutdown .sh 发现服务器顺利关闭

结论

竟然无法在游戏服务器复现

艰难的排查过程3-各种思考、查阅资料

首先从僵尸进程的产生原因入手,猜测是否是sh这个父进程没有调用waitpid去回收java子进程,查询网上类似的tomcat tail -f问题,思考当初1个多月以前的情形,其中有一个很重要的当初情形是shutdown的时候curl卡住了…

灵光一现

难道是当初操作失误了 没有按下ctrl+c 而是按下了ctrl+z

神奇的ctrl+z 复现测试代码defunct

启动start_tail.sh 然后ctrl+z

[xx@bulls deploy_defunct]$ sh start_tail.sh 
3974
nohup: appending output to `nohup.out'
defunct2
^Z
[2]+  Stopped                 sh start_tail.sh

启动stop.sh 发现进程(3974)无法被stop

[xx@bulls deploy_defunct]$ sh stop.sh
3974
[xx@bulls deploy_defunct]$ jps
4146 Jps
3974 Defunct2
12790 MavsLauncher
3726 MavsLauncher

使用kill -9 尝试杀死进程 此时发现进程已经是defunct了

[xx@bulls deploy_defunct]$ kill -9 3974
[xx@bulls deploy_defunct]$ jps
3974 Defunct2
12790 MavsLauncher
4314 Jps
3726 MavsLauncher
[xx@bulls deploy_defunct]$ ps -el | grep 3974
0 Z   500  3974  3973  0  80   0 -     0 exit   pts/4    00:00:00 java <defunct>

此时 只要使用fg命令 从后台调到前台 然后按下ctrl+c 则僵尸进程进程自动消失

[xx@bulls deploy_defunct]$ ps -el | grep 3974
0 Z   500  3974  3973  0  80   0 -     0 exit   pts/4    00:00:00 java <defunct>
[xx@bulls deploy_defunct]$ fg
sh start_tail.sh
^C
[xx@bulls deploy_defunct]$ ps -el | grep 3974

神奇的ctrl+z 复现游戏服务器defunct

启动脚本(有tail) 等待一段时间(将所有服务器全部开启) 并ctrl+z

[xx@bulls mavs-2]$ sh start.sh
......
^Z
[1]+  Stopped                 sh start.sh

此时执行shutdown.sh 发现没有任何反应(卡住) 无奈ctrl+c

[xx@bulls mavs-2]$ sh shutdown.sh 
^C
[xx@bulls mavs-2]$ jps
9667 MavsLauncher
9796 Jps
[xx@bulls mavs-2]$ ll /proc/9667 | grep cwd
lrwxrwxrwx  1 xx xx 0 Dec  5 17:32 cwd -> /data/home/user00/xx/bulls/backend/mavs-2

[xx@bulls mavs-2]$ ps -el | grep 9667
0 T   500  9667  9666  7  80   0 - 1442848 signal pts/6  00:00:07 java
[xx@bulls mavs-2]$ ps -el | grep 9666
0 T   500  9666  8959  0  80   0 - 26521 signal pts/6    00:00:00 sh
0 T   500  9667  9666  7  80   0 - 1442848 signal pts/6  00:00:07 java
0 T   500  9669  9666  0  80   0 - 25241 signal pts/6    00:00:00 tail

此时执行jstack 也发现没有任何反应(卡住) 无奈ctrl+c

[xx@bulls mavs-2]$ jstack 9667
^C
此时执行kill -9 此时java进程已经变为了僵尸进程
[xx@bulls mavs-2]$ kill -9 9667
[xx@bulls mavs-2]$ ps -el | grep 9667
0 Z   500  9667  9666  1  80   0 -     0 exit   pts/6    00:00:07 java <defunct>

此时用fg将暂停的脚本恢复 然后ctrl+c 则僵尸进程消失 顺利被回收

[xx@bulls mavs-2]$ fg
sh start.sh
^C
[xx@bulls mavs-2]$ ps -el | grep 9666
[xx@bulls mavs-2]$ ps -el | grep 9667

总结1

tail和造成defunct没有任何关系,根本原因是因为按下ctrl+z 将start_tail.sh切换到了后台

  • 测试1 当start_tail.sh后 按下ctrl+z 如果直接被crt#session关闭了呢
    更神奇的事情发生了 java进程直接被干掉了
    !! 这个在游戏服务器也测试了 一定要注意!!
  • 测试2 执行start_tail.sh 直接关闭ctr#session 则java进程还在 因为是nohup启动
  • 测试3 当start_tail.sh后 按下ctrl+z 再按fg 恢复执行 此时之后可以顺利shutdown

总结2

正常启动脚本 没有tail java进程的父进程是1 即init进程 使用shutdown脚本关闭java进程后 自动被init进程回收,启动脚本加了tail,此时java进程的父进程是sh进程,sh进程有两个子进程 一个是java子进程 一个是tail子进程,直接ctrl+c 则sh进程和tail进程都结束 java进程的父进程变为了1,如果不ctrl+c 直接shutdown java进程 则java进程也会正常结束 即sh父进程会回收java子进程。

总结3

最终’罪魁祸首’是ctrl+z 其会暂停程序的运行,如果我们启动脚本没有加tail 则执行完nohup & 自动到后台,但是我们加了tail后 因为tail是前台进程 所以要么ctrl+c结束 要么ctrl+z,如果我们按下了ctrl+z 则sh启动的所有子进程都会暂停,所以我们的java进程此时处于暂停状态 所以shutdown/jstack都卡住了一样 只能ctrl+c退出,然后错误的操作就是使用kill -9 这个会把进程给干掉 但是因为父进程sh被暂停了 所以无法waitPid 执行子进程的回收操作 从而导致java进程变为了僵尸进程,而通过fg恢复后 ctrl+c 父进程和tail都退出 java进程被init进程接管,自动回收。

总结4

加tail -f 没有问题,但是一定不要忘了ctrl+c,如果ctrl+z 那么一定fg 然后ctrl+c,不过当出现了shutdown.sh卡住 或者操作jvm都没反应 可以怀疑是暂停了。

分类:
标签:
请先登录,再评论

暂无回复,快来写下第一个回复吧~

为你推荐

字符串字面量长度是有限制的
前言 偶然在一次单元测试中写了一个非常长的字符串字面量。 正文 在一次单元测试中,我写了一个很长的字符串字面量,大概10万个字符左右,编译时,编译器给出了异常告警 `java: constant
多次字符串相加一定要用StringBuilder而不用-吗?
今天在写一个读取Java class File并进行分析的Demo时,偶然发现了下面这个场景(基于oracle jdk 1.8.0_144): ``` package test; public c
如何通过反射获得方法的真实参数名(以及扩展研究)
前段时间,在做一个小的工程时,遇到了需要通过反射获得方法真实参数名的场景,在这里我遇到了一些小小的问题,后来在部门老大的指导下,我解决了这个问题。通过解决这个问题,附带着我了解到了很多新的知识,我觉得
高吞吐、低延迟 Java 应用的 GC 优化实践
本篇原文作者是 LinkedIn 的 Swapnil Ghike,这篇文章讲述了 LinkedIn 的 Feed 产品的 GC 优化过程,虽然文章写作于 April 8, 2014,但其中的很多内容和
「每日五分钟,玩转 JVM」:久识你名,初居我心
聊聊 JVMJVM,一个熟悉又陌生的名词,从认识Java的第一天起,我们就会听到这个名字,在参加工作的前一两年,面试的时候还会经常被问到JDK,JRE,JVM这三者的区别。JVM可以说和我们是老朋友了
据说99.99%的人都会答错的类加载的问题
概述首先还是把问题抛给大家,这个问题也是我厂同学在做一个性能分析产品的时候碰到的一个问题。 同一个类加载器对象是否可以加载同一个类文件多次并且得到多个Class对象而都可以被java层使用吗请仔细注意
Java多线程——并发测试
编写并发程序时候,可以采取和串行程序相同的编程方式。唯一的难点在于,并发程序存在不确定性,这种不确定性会令程序出错的地方远比串行程序多,出现的方式也没有固定规则。那么如何在测试中,尽可能的暴露出这些问
Java多线程知识小抄集(一)
本文主要整理笔者遇到的Java多线程的相关知识点,适合速记,故命名为“小抄集”。本文没有特别重点,每一项针对一个多线程知识做一个概要性总结,也有一些会带一点例子,习题方便理解和记忆。 1.interr