性能文章>一次大量出现Full GC、内存泄漏问题及内存溢出错误排查和分析>

一次大量出现Full GC、内存泄漏问题及内存溢出错误排查和分析转载

4月前
197601

导读:

老是出现堆内存不足,大量Full GC深知出现内存溢出应该怎么办,怎样通过排查找到源头分析来解决问题?

 

正文:

我们有个新服务上线运行一段时间后,老是出现堆内存不足,大量出现 Full GC,有些实例甚至出现内存溢出错误:

 

java.lang.OutOfMemoryError: Java heap space


但是为什么会内存溢出呢?按说访问量也不是很高,于是进行了下面的排查和分析。


1、怀疑内存泄漏


进入 APM 监控系统查看实例内存情况,把时间线拉长到一天,可以看到内存有缓慢上升趋势,初步怀疑有内存泄漏。

8A2ECF5B-6006-477B-9EBC-868F302775C3.png


2、Heap Dump


获取到机器ip,联系运维人员去机器上把堆dump下来,dump命令:

/xxx/jdk1.8.0_212/bin/jmap -dump:live,format=b,file=/xxx/xxx.hprof  进程号

将堆dump文件 Xxx.hprof 下载到本地。


3、下载Heap Dump分析工具


常用的分析工具有MAT和JProfile,本文以MAT工具为示例进行分析。工具下载链接如下:
https://www.eclipse.org/mat/downloads.php
注意:如果你本地安装的是JDK11+,下载最新的即可;如果你本地安装的是JDK8,建议下载1.9.2版本。

4、将Dump文件导入MAT工具


MAT是eclipse的一个插件,免安装,双击打开即可使用。
打开下载好的dump文件

2497E182-DBE7-472D-965D-C72D17239EB3.png

5、分析Dump文件


打开内存泄漏怀疑分析报告,可以看到 SessionFactoryImpl 这个对象使用了 149M内存,占总内存的25%,这肯定不正常。
SessionFactoryImpl 这个类是跟数据库相关,服务代码中使用了JPA作为持久层框架,应该是跟JPA相关,继续往下分析。

AC46420A-A17F-4981-86B4-4961D64A0133.png


我们打开内存树,往下挖,可以看到 QueryPlanCache 这个对象占用内存比较大。

51095C4F-1408-48DF-9BD8-F24B031CA66E.png


QueryPlanCache 表面的意思是:查询计划缓存。用google查一下具体含义。

49680FE9-A85A-431E-9F4C-A20550ECB2D5.png


简单来说Hibernate会缓存sql语句以减少重复编译,便于直接命中提高效率。
在使用 SQL in 的时候,如果 in 后的参数不同,hibernate会把其当成不同的sql进行缓存,从而缓存大量的sql。

88455540-21C0-46E8-9162-F14460B2A621.png缓存的大小是多少?查了一下官方文档,如果不配置,这个缓存默认最大值为2048 。

1A35BC23-E702-40A5-8DC2-F68AB4EFC1BD.png


Stack Overflow上也有用户反馈这个问题:
https://stackoverflow.com/questions/31557076/spring-hibernate-query-plan-cache-memory-usage

47F974F1-174A-402E-B2E4-359184E1BD97.png

7、分析结论


drawio服务里面有大量的 sql in 语句,in 后面的参数不一样造成Hibernate缓存了大量SQL语句,占用大量的堆内存。

 

8、解决措施


(1)添加配置参数,限制缓存大小

78040F2A-D115-4CFA-B8CC-6FB9BE2CB9A8.png


参数解释:
https://docs.jboss.org/hibernate/orm/5.4/userguide/html_single/Hibernate_User_Guide.html#configurations-query

BE56B101-CC65-474C-9A73-C791E9358452.png


(2)提高 sql in 的缓存效率

A3A74D56-8811-46F1-89E1-2C7FC5DD02C2.png


参数解释:
https://docs.jboss.org/hibernate/orm/5.4/userguide/html_single/Hibernate_User_Guide.html#configurations-query

BCBE6CB0-96B8-4488-B3E7-368E2BE868CB.png

请先登录,感受更多精彩内容
快去登录吧,你将获得
  • 浏览更多精彩评论
  • 和开发者讨论交流,共同进步

为你推荐

关于内存溢出,咱再聊点有意思的?
概述 上篇文章讲了JVM在GC上的一个设计缺陷,揪出一个导致GC慢慢变长的JVM设计缺陷,可能有不少人还是没怎么看明白的,今天准备讲的大家应该都很容易看明白 本文其实很犹豫写不写,因为感觉没有
谨防JDK8重复类定义造成的内存泄漏
概述 如今JDK8成了主流,大家都紧锣密鼓地进行着升级,享受着JDK8带来的各种便利,然而有时候升级并没有那么顺利?比如说今天要说的这个问题。我们都知道JDK8在内存模型上最大的改变是,放弃了Perm
JVM菜鸟进阶高手之路二MAT工具相关知识解惑
关于MAT工具相关知识解惑MAT 不是一个万能工具,它并不能处理所有类型的堆存储文件。但是比较主流的厂家和格式,例如 Sun, HP, SAP 所采用的 HPROF 二进制堆存储文件,以及 IBM 的
JVM垃圾回收与一次线上内存泄露问题分析和解决过程
本文转载自:花椒技术微信公众号 前言内存泄漏(Memory Leak)是指程序中己动态分配的堆内存由于某种原因程序未释放或无法释放,造成系统内存的浪费,导致程序运行速度减慢甚至系统崩溃等严重后果。Ja
强如 Disruptor 也发生内存溢出?
前言```OutOfMemoryError ```问题相信很多朋友都遇到过,相对于常见的业务异常(数组越界、空指针等)来说这类问题是很难定位和解决的。本文以最近碰到的一次线上内存溢出的定位、解决问题的
spring boot 引起的 “堆外内存泄漏”
背景组内一个项目最近一直报swap区域使用过高异常,笔者被叫去帮忙查看原因。发现配置的4G堆内内存,但是实际使用的物理内存高达7G,确实有点不正常,JVM参数配置是:```java-XX:Metasp
实战:一次疑似内存泄漏的问题排查
问题背景最近服务器到期等因素,进行了迁移。租了其它的外国厂商,但是由于资费问题,购买了1.5G 内存的服务器(现)。因为原本用惯了4G内存的服务器(原),现在压缩成这样,似乎不太能支持我的使用,囧!现
记录一次Flink作业异常的排查过程
最近2周开始接手apache flink全链路监控数据的作业,包括指标统计,业务规则匹配等逻辑,计算结果实时写入elasticsearch. 昨天遇到生产环境有作业无法正常重启的问题,我负责对这个问题
1
0