性能文章>一次大量出现Full GC、内存泄漏问题及内存溢出错误排查和分析>

一次大量出现Full GC、内存泄漏问题及内存溢出错误排查和分析转载

1年前
355724

导读:

老是出现堆内存不足,大量Full GC深知出现内存溢出应该怎么办,怎样通过排查找到源头分析来解决问题?

 

正文:

我们有个新服务上线运行一段时间后,老是出现堆内存不足,大量出现 Full GC,有些实例甚至出现内存溢出错误:

 

java.lang.OutOfMemoryError: Java heap space


但是为什么会内存溢出呢?按说访问量也不是很高,于是进行了下面的排查和分析。


1、怀疑内存泄漏


进入 APM 监控系统查看实例内存情况,把时间线拉长到一天,可以看到内存有缓慢上升趋势,初步怀疑有内存泄漏。

8A2ECF5B-6006-477B-9EBC-868F302775C3.png


2、Heap Dump


获取到机器ip,联系运维人员去机器上把堆dump下来,dump命令:

/xxx/jdk1.8.0_212/bin/jmap -dump:live,format=b,file=/xxx/xxx.hprof  进程号

将堆dump文件 Xxx.hprof 下载到本地。


3、下载Heap Dump分析工具


常用的分析工具有MAT和JProfile,本文以MAT工具为示例进行分析。工具下载链接如下:
https://www.eclipse.org/mat/downloads.php
注意:如果你本地安装的是JDK11+,下载最新的即可;如果你本地安装的是JDK8,建议下载1.9.2版本。

4、将Dump文件导入MAT工具


MAT是eclipse的一个插件,免安装,双击打开即可使用。
打开下载好的dump文件

2497E182-DBE7-472D-965D-C72D17239EB3.png

5、分析Dump文件


打开内存泄漏怀疑分析报告,可以看到 SessionFactoryImpl 这个对象使用了 149M内存,占总内存的25%,这肯定不正常。
SessionFactoryImpl 这个类是跟数据库相关,服务代码中使用了JPA作为持久层框架,应该是跟JPA相关,继续往下分析。

AC46420A-A17F-4981-86B4-4961D64A0133.png


我们打开内存树,往下挖,可以看到 QueryPlanCache 这个对象占用内存比较大。

51095C4F-1408-48DF-9BD8-F24B031CA66E.png


QueryPlanCache 表面的意思是:查询计划缓存。用google查一下具体含义。

49680FE9-A85A-431E-9F4C-A20550ECB2D5.png


简单来说Hibernate会缓存sql语句以减少重复编译,便于直接命中提高效率。
在使用 SQL in 的时候,如果 in 后的参数不同,hibernate会把其当成不同的sql进行缓存,从而缓存大量的sql。

88455540-21C0-46E8-9162-F14460B2A621.png缓存的大小是多少?查了一下官方文档,如果不配置,这个缓存默认最大值为2048 。

1A35BC23-E702-40A5-8DC2-F68AB4EFC1BD.png


Stack Overflow上也有用户反馈这个问题:
https://stackoverflow.com/questions/31557076/spring-hibernate-query-plan-cache-memory-usage

47F974F1-174A-402E-B2E4-359184E1BD97.png

7、分析结论


drawio服务里面有大量的 sql in 语句,in 后面的参数不一样造成Hibernate缓存了大量SQL语句,占用大量的堆内存。

 

8、解决措施


(1)添加配置参数,限制缓存大小

78040F2A-D115-4CFA-B8CC-6FB9BE2CB9A8.png


参数解释:
https://docs.jboss.org/hibernate/orm/5.4/userguide/html_single/Hibernate_User_Guide.html#configurations-query

BE56B101-CC65-474C-9A73-C791E9358452.png


(2)提高 sql in 的缓存效率

A3A74D56-8811-46F1-89E1-2C7FC5DD02C2.png


参数解释:
https://docs.jboss.org/hibernate/orm/5.4/userguide/html_single/Hibernate_User_Guide.html#configurations-query

BCBE6CB0-96B8-4488-B3E7-368E2BE868CB.png

点赞收藏
大绿植
请先登录,查看2条精彩评论吧
快去登录吧,你将获得
  • 浏览更多精彩评论
  • 和开发者讨论交流,共同进步

为你推荐

为什么要做代码Review?

为什么要做代码Review?

日常Bug排查-集群逐步失去响应

日常Bug排查-集群逐步失去响应

浅析AbstractQueuedSynchronizer

浅析AbstractQueuedSynchronizer

4
2