性能文章>【7】性能测试平台从设计到实现-报告指标深度解读及通过标准评估>

【7】性能测试平台从设计到实现-报告指标深度解读及通过标准评估原创

https://a.perfma.net/img/2871132
9月前
3740018

        今天开始报告解读的下篇,指标深度解读以及结合小编日常工作中,通过指标来评估一次压测任务是否通过的实践经验浅谈。

        先来认识下我们的报告~

        请大家特别关注圈红的50ms和500ms这两个指标【可通过gatling.conf】来进行配置,我们将<50ms的部分以绿色柱状显示,表示满足我们的性能优化预期,不需要进行优化,50<t<500ms的是非最优,但可接受,>500ms是必须要优化的数量,由此我们可以看出,根据柱状图看多少,根据饼状图看占比。

        再来看下我们的统计报表,其中%KO这个指标,代表了错误率的占比,具有一票否决权,如果错误比大于万分之5,那么本次任务直接判定失败。然后我们来看下Cnt/s【每秒吞吐数即QPS】这个是我们在加压时设定的值,需要判定是否压力达到了预期,如果不到预期,那么本次任务也将判定失败,需要重新压测。然后是Response的统计指标,其中xx pct是统计分位的指标,可以通过gatling.conf来进行配置,这里类比功能测试,功能测试以平均响应时间即图中mean的值来作为判断标准,但在性能测试中,推荐以99th pct和std dev的组合指标来作为判定,原因在于我们希望99%的用户响应时间在我们的设定语气中,同时波动率较小表明我们的响应时间分布平滑均匀。

接下来,是我们的error分类统计,这里会有错误的摘要信息和数量及占比统计,便于后续结合被测服务的日志统计,来一同排查问题。

从这里开始,都是数行结合的图,首先是随时间推移的活跃用户,对并发数模型和QPS模型均使用,这里的活跃用户是一个复合指标,表示在给定时间内,在系统负载下的活跃用户,非并发数,也非用户达到率

        第二张图,响应时间分布,横轴时间,纵轴数量。没啥好讲的~

      第三张图,随时间变化的响应时间百分位统计,从这张图中,我们可以看到在不同的时间窗口期内【我们的压力变化】响应时间的百分比变化趋势

         最后两张图,随时间推移的每秒请求和每秒响应图。我们通常把这两张图放在一起看~

 

        最后做个总结吧
1)先看柱状和饼状图,看本次请求的响应分布,柱状图看数量,饼状图看占比

2)再看统计报表,先看错误率,超过万分之五【压测标准】不通过,再看cnt/s,不到预期【计划的施压压力】不通过。然后看response time指标,以99pct【99分位】和std dev【波动率】为标准而不是以mean【平均响应时间】

3)再看错误统计,结合摘要和数量去被测服务的log4j或logback日志统计中关联一起找问题

4)下面的各种图,看趋势,看变化,找拐点。

 

参考资料:https://gatling.io/docs/gatling/reference/current/stats/reports/

点赞收藏
分类:标签:
imath60

ASAP

请先登录,感受更多精彩内容
快去登录吧,你将获得
  • 浏览更多精彩评论
  • 和开发者讨论交流,共同进步

为你推荐

基于配置中心的轻量级动态可监控线程池 - DynamicTp

基于配置中心的轻量级动态可监控线程池 - DynamicTp

【全网首发】抛砖系列之git仓库拆分工具git-filter-repo

【全网首发】抛砖系列之git仓库拆分工具git-filter-repo

字节跳动端智能工程链路 Pitaya 的架构设计

字节跳动端智能工程链路 Pitaya 的架构设计

设计和实现的对比:4种常见堆分析器进行内存泄漏故障排除

设计和实现的对比:4种常见堆分析器进行内存泄漏故障排除

Arrivals 线程组的一点解释

Arrivals 线程组的一点解释

【全网首发】设计了一个自动归档工具

【全网首发】设计了一个自动归档工具

18
0