性能文章>方案设计:基于IDEA插件开发和字节码插桩技术,实现研发交付质量自动分析>

方案设计:基于IDEA插件开发和字节码插桩技术,实现研发交付质量自动分析原创

738825


作者:小傅哥
博客:https://bugstack.cn

沉淀、分享、成长,让自己和他人都能有所收获!😄

一、前言

如何保证代码质量?

业务提需求,产品定方案,研发做实现,测试验流程。四种角色的相互配合是确保一个需求上线的必备条件。在整个需求的交付质量级别划分中,研发与测试是非常重的一环,如果研发提测的代码质量不高,就会出现不同级别的修BUG、返工甚至重做的风险。

那么,怎么来提高代码质量呢?一般我们都会要求研发在开发代码的过程中编写单元测试,验证自己的代码逻辑。如果最终单元测试覆盖度不足,可以由测试拒绝研发提测。

但是,整个需求实现的代码是在全部开发完成后提测的,也就是临近上线的最后一环,大家才知道某个研发的某个功能域的实现是否具备提测条件。如果这个时候代码质量不高,那么接下来就是项目风险的时候。压测试时间调上线时间,总之有病拖着最后成大病了!

当然,你可以在项目开发期间定期排查代码,或者在日会进度反馈等等手段。可这样需要耗费大量时间1拖1的开发排查方式很难满足复杂流程的较大型项目开发,而且对于项目风险把控也是不可预估的。

所以,我们希望采集研发在开发过程中的执行动作,把风险判断提前。实际操作举例就是,当你开发完成一个接口,开始测试运行时,我们的插件就可以采集到这个接口的全部信息,包括:接口名称、入参类型和内容、出参类型和内容、异常信息、调用关系链等。而再把这些信息汇总提交到服务端,生成本次需求代码分支下的全部接口动作,以及各系统间的关系链路,并附带随时生成最新的接口文档和一键测试验证功能。后期测试人员介入时就可以参考研发在编码过程中的全部测试用例,也可以查看整个功能的覆盖程度,此外测试人员测试过程中的数据也会被保留下。现在拥有这些数据信息以后,就可以完整的生成一套研发测试质量交付全览图,让整个工程开发交付质量评估透明化。

接下来我们就按照以上的描述性内容,实践开发一个案例体会下。走起!

二、技术实现准备

  1. 字节码插桩,因为我们需要采集到接口执行信息,那么就需要使用字节码插桩组件给接口方法增强。这个实现有点类似谷歌的Dapper,大规模分布式架构的非入侵监控。只不过我们需要采集的描述性信息更多。关于字节码插桩,可以了解ASM、Javassist、Byte-Buddy,它们都可以做此项工作。
  2. IDEA 插件开发,因为我们需要在研发人员开发过程中进行采集,也不破坏研发的操作习惯。那么最好的方式就是嵌入到启动运行中,只要在开发过程中有运行代码的动作,就采集相应的接口信息。
  3. 最后就是数据的传输和处理,传输可以使用MQ或者直接用Netty。而处理数据的过程会相对比较复杂,在这个过程需要分析出有价值的数据,同类的数据,合并一条执行链路的数据,以及生成相关的接口文档和工程服务地图。

三、对字节码插桩

这里我们使用的字节码插桩组件是 Byte-buddy,它是一个代码生成和操作库,用于在 Java 应用程序运行时创建和修改 Java 类,而无需编译器的帮助。除了 Java 类库附带的代码生成实用程序外,Byte Buddy 还允许创建任意类,并且不限于实现用于创建运行时代理的接口。此外,Byte Buddy 提供了一种方便的 API,可以使用 Java 代理或在构建过程中手动更改类。

  • 无需理解字节码指令,即可使用简单的 API 就能很容易操作字节码,控制类和方法。
  • 已支持Java 11,库轻量,仅取决于Java字节代码解析器库ASM的访问者API,它本身不需要任何其他依赖项。
  • 比起JDK动态代理、cglib、Javassist,Byte Buddy在性能上具有一定的优势。

1. 方法入口

public static void premain(String agentArgs, Instrumentation inst) {
    AgentBuilder.Transformer transformer = (builder, typeDescription, classLoader, javaModule) -> {
        return builder
                .method(ElementMatchers.any()) // 拦截任意方法
                .intercept(MethodDelegation.to(MonitorMethod.class));
    };
    new AgentBuilder
            .Default()
            .type(ElementMatchers.nameStartsWith(agentArgs)) 
            .transform(transformer)
            .installOn(inst);
}

如果你接触过 Javaagent 开发,那么对于 premain 会比较熟悉。如果不清楚你可以把它理解为,它是程序启动的时的方法入口,你可以从这个入口中拦截到你需要的方法,之后对它进行字节码增强。其实也就是动态写代码,在方法中添加你的代码,来收集方法信息。

2. 采集信息

@RuntimeType
public static Object intercept(@Origin Method method, @SuperCall Callable<?> callable, @AllArguments Object[] args) throws Exception {
    long start = System.currentTimeMillis();
    Object resObj = null;
    try {
        resObj = callable.call();
        return resObj;
    } finally {
        System.out.println("方法名称:" + method.getName());
        System.out.println("入参个数:" + method.getParameterCount());
        for (int i = 0; i < method.getParameterCount(); i++) {
            System.out.println("入参 Idx:" + (i + 1) + " 类型:" + method.getParameterTypes()[i].getTypeName() + " 内容:" + args[i]);
        }
        System.out.println("出参类型:" + method.getReturnType().getName());
        System.out.println("出参结果:" + resObj);
        System.out.println("方法耗时:" + (System.currentTimeMillis() - start) + "ms");
    }
}

这个就是使用 Byte-Buddy 可以采集的信息,你可以通过注解入参,获取到一个方法的全部信息。方法名称、入参个数、入参类型和内容、出参类型和结果以及还能计算方法执行耗时。

四、IDEA 插件开发

关于 IDEA 插件开发的知识内容较多,可以从GitHub搜索一些资料和查阅官方文档:https://plugins.jetbrains.com/docs/intellij/gradle-build-system.html?from=jetbrains.org

此处演示案例关于插件开发的内容比较简单,主要是继承 com.intellij.execution.impl.DefaultJavaProgramRunner,Override doExecute 方法,添加自己需要的内容即可。

这部分添加的内容核心就是在程序启动时添加我们的字节码插桩程序,如下:

@Override
protected RunContentDescriptor doExecute(@NotNull RunProfileState state, @NotNull ExecutionEnvironment env) throws ExecutionException {
    JavaParameters parameters = ((JavaCommandLine) state).getJavaParameters();
    // 信息获取
    PsiFile psiFile = env.getDataContext().getData(LangDataKeys.PSI_FILE);
    String packageName = ((PsiJavaFileImpl) psiFile).getPackageName();
    // 添加字节码插装
    ParametersList parametersList = parameters.getVMParametersList();
    parametersList.add("-javaagent:" + this.getClass().getResource("/").getPath().substring(1) + "ProjectProbe.jar=" + packageName);
    return super.doExecute(state, env);
}

此处最核心的就是 -javaagentProjectProbe.jar 工程探针程序的Jar包加载进去。其他的就是一些关于 PsiFile API 的使用,感兴趣可以阅读官方文档中的介绍。

五、效果演示

安装插件

  • 安装插件就和我们正常安装一样,不过目前这个插件在开发阶段,所以需要本地安装。

运行效果

  • 上图就是运行效果的案例演示,我们把运行时接口的信息完整的输出到控制台。
  • 在实际使用的过程中,会把这部分信息传回服务端,由服务端分析处理后,展示在页面上。

六、总结

  • 基于IDEA插件和字节码插桩技术,能做的功能实现还有很多。本文仅仅是其中一种研发到测试痛点的解决方案,如果感兴趣可以一起深入研究。
  • 当你看到这样的案例以后,希望能给你的是并不一定所有的技术点都是为了面试造火箭对话的。当你真的把它落地以后,才会懂的自己需要很多知识。
  • 本文没有太过多的介绍插件开发和字节码技术,如果对字节码编程感兴趣,可以在公众号:bugstack虫洞栈,回复字节码编程。全书11万7千字,20个章节涵盖三个字节码框架(ASM、Javassist、Byte-budy)和JavaAgent使用并附带整套案例源码!

七、系列推荐

点赞收藏
小傅哥 | bugstack.cn
请先登录,查看2条精彩评论吧
快去登录吧,你将获得
  • 浏览更多精彩评论
  • 和开发者讨论交流,共同进步

为你推荐

JDBC PreparedStatement 字段值为null导致TBase带宽飙升的案例分析

JDBC PreparedStatement 字段值为null导致TBase带宽飙升的案例分析

随机一门技术分享之Netty

随机一门技术分享之Netty

MappedByteBuffer VS FileChannel:从内核层面对比两者的性能差异

MappedByteBuffer VS FileChannel:从内核层面对比两者的性能差异

5
2