性能文章>【全网首发】JavaAgent寄生在目标进程中引起的ClassNotFoundException>

【全网首发】JavaAgent寄生在目标进程中引起的ClassNotFoundException原创

https://a.perfma.net/img/2382850
2年前
524729

今天有解决方案部的小伙伴反映,我公司XWind产品在分析客户应用程序的潜在性能问题时,总是显现诊断任务异常,为了定位问题的根因,我们马上要求解决方案部的小伙伴提供XWind相关的日志,从日志中找到了如下报错信息:

11.png

可以看到Java经典的动态加载类错误,org.apache.naming.java.javaURLContextFactory类找不到。为了能更好的介绍这个异常的原因,有必要先介绍一下与问题相关的、XWind产品局部的技术架构,如下:

22.png

这里涉及到我们的JavaAgent和XPocket,我马上在本地的JavaAgent和XPocket项目源代码中排查了一下这个类,方法很简单,只是import一下即可。如果是我们项目本身需要依赖这个类,那么Maven项目肯定会将依赖的包都引入项目中,那问题很可能就是类加载器和相关包路径的问题导致了类找不到。但是这个类在两个项目中都找不到,那就说明这个类是目标客户应用程序中的类,我上网查了一下这个类,发现是Tomcat中的相关类,进一步确认了这不是我们项目中用到的类。

排查到这里,问题就变成了,为什么JMX突然要加载一个可能是客户应用中使用的类呢?

从上图的技术架构可以看到,JavaAgent是挂到客户应用进程上的,初步猜测是应用进程的某些配置影响到了JavaAgent。我根据抛出异常的调用栈信息在getInitialContext()方法中的672行打了断点,然后本地进行调试,代码并没有走到这个方法,那么肯定是客户机器上的配置影响到了JavaAgent代码的执行流程。getInitialContext()方法的实现如下:

33.png

看第672行代码,调用loadClass()方法加载className,毫无疑问,这里className变量的值肯定是org.apache.naming.java.javaURLContextFactory。那么这个className的值从哪里读取的呢?通过IDEA的Find Usages命令查找调用者,只有一个调用者。这个调用者的实现如下:

protected Context getDefaultInitCtx() throws NamingException{
        if (!gotDefault) {
            defaultInitCtx = NamingManager.getInitialContext(myProps);
            gotDefault = true;
        }
        if (defaultInitCtx == null)
            throw new NoInitialContextException();
 
        return defaultInitCtx;
}

现在我们的任务就是追踪myProps变量了,这个变量的定义如下:

protected Hashtable<Object,Object> myProps = null;

同样通过IDEA的Find Usages命令查找使用情况,结果如下图所示。

44.png

在InitialContext类的addToEnvironment()方法中有唯一的put()方法,打断点后在本地调试,没有走put()方法。

那么就只可能在给myProps赋值时就已经含有了相应的值, 查看上图的init()方法,实现如下:

protected void init(Hashtable<?,?> environment)
        throws NamingException
{
        myProps = (Hashtable<Object,Object>)
                ResourceManager.getInitialEnvironment(environment);
 
        // ...
}

myProps是调用ResourceManager.getInitialEnvironment()方法获取的值,于是我又查看了这个被调用的方法的实现,如下:


public static Hashtable<?, ?> getInitialEnvironment(Hashtable<?, ?> env)
            throws NamingException
{
        String[] props = VersionHelper.PROPS;
        if (env == null) {
            env = new Hashtable<>(11);
        }
 
        String[] jndiSysProps = helper.getJndiProperties();
        for (int i = 0; i < props.length; i++) {
            Object val = env.get(props[i]);
            if (val == null) {
                val = (jndiSysProps != null)
                        ? jndiSysProps[i]
                        : helper.getJndiProperty(i);
            }
            if (val != null) {
                // 1、放入了额外的值
                ((Hashtable<String, Object>)env).put(props[i], val); 
            }
        }
 
        // ...
 
        // 2、将getApplicationResources()方法获取的值存储到env中
        mergeTables((Hashtable<Object, Object>)env, getApplicationResources()); 
        return env;
}

代码虽然有些长,但是逻辑很简单,就是汇总值,将key-value对放到最终的Hashtable中返回。如上代码有2处地方可能为最终的env放入了值。在看第一处调用put()方法时,放到的键的名称来自VersionHelper.PROPS,而值来自于getJndiProperties()方法,查看这个方法,实现代码如下:

String[] getJndiProperties() {
        Properties sysProps = AccessController.doPrivileged(
            new PrivilegedAction<Properties>() {
                public Properties run() {
                    try {
                        return System.getProperties();
                    } catch (SecurityException e) {
                        return null;
                    }
                }
            }
        );
        if (sysProps == null) {
            return null;
        }
        String[] jProps = new String[PROPS.length];
        for (int i = 0; i < PROPS.length; i++) {
            jProps[i] = sysProps.getProperty(PROPS[i]);
        }
        return jProps;
}

从这里能看出,这里的值全部来自系统变量,而系统变量的key来自PROPS。PROPS的定义如下:

static final String[] PROPS = new String[]{
        javax.naming.Context.INITIAL_CONTEXT_FACTORY,
        // ...
};
 

其中javax.naming.Context.INITIAL_CONTEXT_FACTORY属性的值为java.naming.factory.initial。

联系了解决方案部的小伙伴,在目标客户机上执行命令jinfo -sysprop 客户应用进程pid,导出了所有的系统配置,其中有个系统变量的定义马上引起了我的注意,如下:
55.png
在本地启动应用挂上我们自己的JavaAgent后查看系统变量,没有发现这个变量,于是我用阿里的Arthas为本地系统配置了如上的系统变量,启动时报出了同样的错误,现在终于确定是客户应用程序的系统变量影响到我们的JavaAgent了。

到目前为止,引起问题的原因找到了,那么还有一个问题,为什么在目标客户机就找不到这个类呢?由于Tomcat自定义了类加载器来加载自己的类,而JavaAgent通常是由应用类加载器加载的,所以找不到也是理所当然了。

现在问题找到了,那么如何解决这个问题呢? 之前我们客户端连接JMX的代码如下:

String jmxURL = String.format("service:jmx:rmi:///jndi/rmi://localhost:%s/server", xxx);
JMXServiceURL url = new JMXServiceURL(jmxURL);
 
JMXConnector jmxConnector = JMXConnectorFactory.connect(url);
 
MBeanServerConnection msc = jmxConnector.getMBeanServerConnection();
if(!msc.isRegistered(new ObjectName("XPocket:name=xpocket"))){
    System.out.println("连接出错");
}

查找了相关的API,发现connect()还有一个重载方法,可用来传递自定义的变量,于是修改后的代码如下:

String jmxURL = String.format("service:jmx:rmi:///jndi/rmi://localhost:%s/server", xxx);
JMXServiceURL url = new JMXServiceURL(jmxURL);
 
Map<String,Object> m = new HashMap<>();
m.put("java.naming.factory.initial","com.sun.jndi.rmi.registry.RegistryContextFactory");
JMXConnector jmxConnector = JMXConnectorFactory.connect(url,m);
 
MBeanServerConnection msc = jmxConnector.getMBeanServerConnection();
if(!msc.isRegistered(new ObjectName("XPocket:name=xpocket"))){
    System.out.println("连接出错");
}  

这样就能使用我们自定义的java.naming.factory.initial变量值了,同时也不会影响到客户应用程序的配置。

点赞收藏
鸠摩

著有《深入解析Java编译器:源码剖析与实例详解》、《深入剖析Java虚拟机:源码剖析与实例详解》等书籍。公众号“深入剖析Java虚拟机HotSpot”作者

请先登录,查看2条精彩评论吧
快去登录吧,你将获得
  • 浏览更多精彩评论
  • 和开发者讨论交流,共同进步

为你推荐

JDBC PreparedStatement 字段值为null导致TBase带宽飙升的案例分析

JDBC PreparedStatement 字段值为null导致TBase带宽飙升的案例分析

9
2