【全网首发】JavaAgent寄生在目标进程中引起的ClassNotFoundException原创
今天有解决方案部的小伙伴反映,我公司XWind产品在分析客户应用程序的潜在性能问题时,总是显现诊断任务异常,为了定位问题的根因,我们马上要求解决方案部的小伙伴提供XWind相关的日志,从日志中找到了如下报错信息:
可以看到Java经典的动态加载类错误,org.apache.naming.java.javaURLContextFactory类找不到。为了能更好的介绍这个异常的原因,有必要先介绍一下与问题相关的、XWind产品局部的技术架构,如下:
这里涉及到我们的JavaAgent和XPocket,我马上在本地的JavaAgent和XPocket项目源代码中排查了一下这个类,方法很简单,只是import一下即可。如果是我们项目本身需要依赖这个类,那么Maven项目肯定会将依赖的包都引入项目中,那问题很可能就是类加载器和相关包路径的问题导致了类找不到。但是这个类在两个项目中都找不到,那就说明这个类是目标客户应用程序中的类,我上网查了一下这个类,发现是Tomcat中的相关类,进一步确认了这不是我们项目中用到的类。
排查到这里,问题就变成了,为什么JMX突然要加载一个可能是客户应用中使用的类呢?
从上图的技术架构可以看到,JavaAgent是挂到客户应用进程上的,初步猜测是应用进程的某些配置影响到了JavaAgent。我根据抛出异常的调用栈信息在getInitialContext()方法中的672行打了断点,然后本地进行调试,代码并没有走到这个方法,那么肯定是客户机器上的配置影响到了JavaAgent代码的执行流程。getInitialContext()方法的实现如下:
看第672行代码,调用loadClass()方法加载className,毫无疑问,这里className变量的值肯定是org.apache.naming.java.javaURLContextFactory。那么这个className的值从哪里读取的呢?通过IDEA的Find Usages命令查找调用者,只有一个调用者。这个调用者的实现如下:
protected Context getDefaultInitCtx() throws NamingException{
if (!gotDefault) {
defaultInitCtx = NamingManager.getInitialContext(myProps);
gotDefault = true;
}
if (defaultInitCtx == null)
throw new NoInitialContextException();
return defaultInitCtx;
}
现在我们的任务就是追踪myProps变量了,这个变量的定义如下:
protected Hashtable<Object,Object> myProps = null;
同样通过IDEA的Find Usages命令查找使用情况,结果如下图所示。
在InitialContext类的addToEnvironment()方法中有唯一的put()方法,打断点后在本地调试,没有走put()方法。
那么就只可能在给myProps赋值时就已经含有了相应的值, 查看上图的init()方法,实现如下:
protected void init(Hashtable<?,?> environment)
throws NamingException
{
myProps = (Hashtable<Object,Object>)
ResourceManager.getInitialEnvironment(environment);
// ...
}
myProps是调用ResourceManager.getInitialEnvironment()方法获取的值,于是我又查看了这个被调用的方法的实现,如下:
public static Hashtable<?, ?> getInitialEnvironment(Hashtable<?, ?> env)
throws NamingException
{
String[] props = VersionHelper.PROPS;
if (env == null) {
env = new Hashtable<>(11);
}
String[] jndiSysProps = helper.getJndiProperties();
for (int i = 0; i < props.length; i++) {
Object val = env.get(props[i]);
if (val == null) {
val = (jndiSysProps != null)
? jndiSysProps[i]
: helper.getJndiProperty(i);
}
if (val != null) {
// 1、放入了额外的值
((Hashtable<String, Object>)env).put(props[i], val);
}
}
// ...
// 2、将getApplicationResources()方法获取的值存储到env中
mergeTables((Hashtable<Object, Object>)env, getApplicationResources());
return env;
}
代码虽然有些长,但是逻辑很简单,就是汇总值,将key-value对放到最终的Hashtable中返回。如上代码有2处地方可能为最终的env放入了值。在看第一处调用put()方法时,放到的键的名称来自VersionHelper.PROPS,而值来自于getJndiProperties()方法,查看这个方法,实现代码如下:
String[] getJndiProperties() {
Properties sysProps = AccessController.doPrivileged(
new PrivilegedAction<Properties>() {
public Properties run() {
try {
return System.getProperties();
} catch (SecurityException e) {
return null;
}
}
}
);
if (sysProps == null) {
return null;
}
String[] jProps = new String[PROPS.length];
for (int i = 0; i < PROPS.length; i++) {
jProps[i] = sysProps.getProperty(PROPS[i]);
}
return jProps;
}
从这里能看出,这里的值全部来自系统变量,而系统变量的key来自PROPS。PROPS的定义如下:
static final String[] PROPS = new String[]{
javax.naming.Context.INITIAL_CONTEXT_FACTORY,
// ...
};
其中javax.naming.Context.INITIAL_CONTEXT_FACTORY属性的值为java.naming.factory.initial。
联系了解决方案部的小伙伴,在目标客户机上执行命令jinfo -sysprop 客户应用进程pid,导出了所有的系统配置,其中有个系统变量的定义马上引起了我的注意,如下:
在本地启动应用挂上我们自己的JavaAgent后查看系统变量,没有发现这个变量,于是我用阿里的Arthas为本地系统配置了如上的系统变量,启动时报出了同样的错误,现在终于确定是客户应用程序的系统变量影响到我们的JavaAgent了。
到目前为止,引起问题的原因找到了,那么还有一个问题,为什么在目标客户机就找不到这个类呢?由于Tomcat自定义了类加载器来加载自己的类,而JavaAgent通常是由应用类加载器加载的,所以找不到也是理所当然了。
现在问题找到了,那么如何解决这个问题呢? 之前我们客户端连接JMX的代码如下:
String jmxURL = String.format("service:jmx:rmi:///jndi/rmi://localhost:%s/server", xxx);
JMXServiceURL url = new JMXServiceURL(jmxURL);
JMXConnector jmxConnector = JMXConnectorFactory.connect(url);
MBeanServerConnection msc = jmxConnector.getMBeanServerConnection();
if(!msc.isRegistered(new ObjectName("XPocket:name=xpocket"))){
System.out.println("连接出错");
}
查找了相关的API,发现connect()还有一个重载方法,可用来传递自定义的变量,于是修改后的代码如下:
String jmxURL = String.format("service:jmx:rmi:///jndi/rmi://localhost:%s/server", xxx);
JMXServiceURL url = new JMXServiceURL(jmxURL);
Map<String,Object> m = new HashMap<>();
m.put("java.naming.factory.initial","com.sun.jndi.rmi.registry.RegistryContextFactory");
JMXConnector jmxConnector = JMXConnectorFactory.connect(url,m);
MBeanServerConnection msc = jmxConnector.getMBeanServerConnection();
if(!msc.isRegistered(new ObjectName("XPocket:name=xpocket"))){
System.out.println("连接出错");
}
这样就能使用我们自定义的java.naming.factory.initial变量值了,同时也不会影响到客户应用程序的配置。