性能文章>【7】性能测试平台从设计到实现-报告指标深度解读及通过标准评估>

【7】性能测试平台从设计到实现-报告指标深度解读及通过标准评估原创

https://a.perfma.net/img/2871132
5月前
3580018

        今天开始报告解读的下篇,指标深度解读以及结合小编日常工作中,通过指标来评估一次压测任务是否通过的实践经验浅谈。

        先来认识下我们的报告~

        请大家特别关注圈红的50ms和500ms这两个指标【可通过gatling.conf】来进行配置,我们将<50ms的部分以绿色柱状显示,表示满足我们的性能优化预期,不需要进行优化,50<t<500ms的是非最优,但可接受,>500ms是必须要优化的数量,由此我们可以看出,根据柱状图看多少,根据饼状图看占比。

        再来看下我们的统计报表,其中%KO这个指标,代表了错误率的占比,具有一票否决权,如果错误比大于万分之5,那么本次任务直接判定失败。然后我们来看下Cnt/s【每秒吞吐数即QPS】这个是我们在加压时设定的值,需要判定是否压力达到了预期,如果不到预期,那么本次任务也将判定失败,需要重新压测。然后是Response的统计指标,其中xx pct是统计分位的指标,可以通过gatling.conf来进行配置,这里类比功能测试,功能测试以平均响应时间即图中mean的值来作为判断标准,但在性能测试中,推荐以99th pct和std dev的组合指标来作为判定,原因在于我们希望99%的用户响应时间在我们的设定语气中,同时波动率较小表明我们的响应时间分布平滑均匀。

接下来,是我们的error分类统计,这里会有错误的摘要信息和数量及占比统计,便于后续结合被测服务的日志统计,来一同排查问题。

从这里开始,都是数行结合的图,首先是随时间推移的活跃用户,对并发数模型和QPS模型均使用,这里的活跃用户是一个复合指标,表示在给定时间内,在系统负载下的活跃用户,非并发数,也非用户达到率

        第二张图,响应时间分布,横轴时间,纵轴数量。没啥好讲的~

      第三张图,随时间变化的响应时间百分位统计,从这张图中,我们可以看到在不同的时间窗口期内【我们的压力变化】响应时间的百分比变化趋势

         最后两张图,随时间推移的每秒请求和每秒响应图。我们通常把这两张图放在一起看~

 

        最后做个总结吧
1)先看柱状和饼状图,看本次请求的响应分布,柱状图看数量,饼状图看占比

2)再看统计报表,先看错误率,超过万分之五【压测标准】不通过,再看cnt/s,不到预期【计划的施压压力】不通过。然后看response time指标,以99pct【99分位】和std dev【波动率】为标准而不是以mean【平均响应时间】

3)再看错误统计,结合摘要和数量去被测服务的log4j或logback日志统计中关联一起找问题

4)下面的各种图,看趋势,看变化,找拐点。

 

参考资料:https://gatling.io/docs/gatling/reference/current/stats/reports/

分类:标签:
请先登录,感受更多精彩内容
快去登录吧,你将获得
  • 浏览更多精彩评论
  • 和开发者讨论交流,共同进步

为你推荐

借助Xpocket中的perf插件 了解cpu热点函数的抓取原理
本文使用了xpocket工具包的插件链接xpocket地址: [https://plugin.xpocket.perfma.com](https://plugin.xpocket.perfma.com
【0】性能测试平台从设计到实现-开篇
性能测试平台从设计到实现-开篇;从背景介绍、目标价值和特征分析三个方面,对性能测试平台的建设进行阐述
【1】性能测试平台从设计到实现-中控系统
性能测试平台从设计到实现的第二篇,中控系统,本文主要介绍了中控系统的任务管理的新建任务功能,将任务所需的各类资源按照步骤进行拆分,映射到资源管理模块下的各个子模块中,可复用,可新建【支持保存】。任务从创建到实时执行查看到执行完成回看的全过程。
【2】性能测试平台从设计到实现-中控系统之资源管理
性能测试平台从设计到实现的第三篇,中控系统之资源管理,本文主要介绍了资源管理中的四要素,即用例、数据、压力模型和执行节点。
【3】性能测试平台从设计到实现-如何玩转压测脚本
性能测试平台从设计到实现的第四篇,如何玩转压测脚本,本文主要介绍了Gatling引擎的scala脚本的常用写法,直接拿走不用谢~
【4】性能测试平台从设计到实现-玩转压测脚本之场景化压测
性能测试平台从设计到实现的第五篇,玩转压测脚本之场景化压测,本文是第四篇如何玩转脚本的姊妹篇,以春运活动为例,讲解了场景化压测脚本的编写方法
【5】性能测试平台从设计到实现-如何选择适合自己的压力模型
性能测试平台从设计到实现的第六篇,如何选择适合自己的压力模型,本文从实际业务场景出发,介绍两大类场景并发数和QPS下的压力模型构造方法,及在引擎提供的基础能力上,如果简化这部分的工作。
【6】性能测试平台从设计到实现-报告初步解读和平台的增强优化
性能测试平台从设计到实现的第七篇,报告初步解读和平台的增强优化。本文讲述了在压测中和压测结束后,针对报告的解读方法,需关注的指标以及平台所做的增强型优化功能